Framing student evaluations of university learning and teaching : discursive strategies and textual outcomes

Evaluation in higher education is an evolving social practice, that is, it involves what people, institutions and broader systems do and say, how they do and say it, what they value, the effects of these practices and values, and how meanings are ascribed. The textual products (verbal, written, visual, gestural) that inform and are produced by, for and through evaluative practices are important as they promulgate particular kinds of meanings and values in specific contexts. This paper reports on an exploratory study that sought to investigate, using discourse analysis, the types of evaluative practices that were ascribed value, and the student responses that ensued, in different evaluative instruments. Findings indicate that when a reflective approach is taken to evaluation, students’ responses are more considered, they interrogate their own engagement in the learning context and they are more likely to demonstrate reconstructive thought. These findings have implications for reframing evaluation as reflective learning.

Using textual analysis with Concept Inventories to identify root causes of misconceptions

Engineers must have deep and accurate conceptual understanding of their field and Concept inventories (CIs) are one method of assessing conceptual understanding and providing formative feedback. Current CI tests use Multiple Choice Questions (MCQ) to identify misconceptions and have undergone reliability and validity testing to assess conceptual understanding. However, they do not readily provide the diagnostic information about students’ reasoning and therefore do not effectively point to specific actions that can be taken to improve student learning. We piloted the textual component of our diagnostic CI on electrical engineering students using items from the signals and systems CI. We then analysed the textual responses using automated lexical analysis software to test the effectiveness of these types of software and interviewed the students regarding their experience using the textual component. Results from the automated text analysis revealed that students held both incorrect and correct ideas for certain conceptual areas and provided indications of student misconceptions. User feedback also revealed that the inclusion of the textual component is helpful to students in assessing and reflecting on their own understanding.

Machine learning approaches to analysing textual injury surveillance data: A systematic review

Objective To synthesise recent research on the use of machine learning approaches to mining textual injury surveillance data. Design Systematic review. Data sources The electronic databases which were searched included PubMed, Cinahl, Medline, Google Scholar, and Proquest. The bibliography of all relevant articles was examined and associated articles were identified using a snowballing technique. Selection criteria For inclusion, articles were required to meet the following criteria: (a) used a health-related database, (b) focused on injury-related cases, AND used machine learning approaches to analyse textual data. Methods The papers identified through the search were screened resulting in 16 papers selected for review. Articles were reviewed to describe the databases and methodology used, the strength and limitations of different techniques, and quality assurance approaches used. Due to heterogeneity between studies meta-analysis was not performed. Results Occupational injuries were the focus of half of the machine learning studies and the most common methods described were Bayesian probability or Bayesian network based methods to either predict injury categories or extract common injury scenarios. Models were evaluated through either comparison with gold standard data or content expert evaluation or statistical measures of quality. Machine learning was found to provide high precision and accuracy when predicting a small number of categories, was valuable for visualisation of injury patterns and prediction of future outcomes. However, difficulties related to generalizability, source data quality, complexity of models and integration of content and technical knowledge were discussed. Conclusions The use of narrative text for injury surveillance has grown in popularity, complexity and quality over recent years. With advances in data mining techniques, increased capacity for analysis of large databases, and involvement of computer scientists in the injury prevention field, along with more comprehensive use and description of quality assurance methods in text mining approaches, it is likely that we will see a continued growth and advancement in knowledge of text mining in the injury field.

Methods for Answer Extraction in Textual Question Answering

In this thesis we present and evaluate two pattern matching based methods for answer extraction in textual question answering systems. A textual question answering system is a system that seeks answers to natural language questions from unstructured text. Textual question answering systems are an important research problem because as the amount of natural language text in digital format grows all the time, the need for novel methods for pinpointing important knowledge from the vast textual databases becomes more and more urgent. We concentrate on developing methods for the automatic creation of answer extraction patterns. A new type of extraction pattern is developed also. The pattern matching based approach chosen is interesting because of its language and application independence. The answer extraction methods are developed in the framework of our own question answering system. Publicly available datasets in English are used as training and evaluation data for the methods. The techniques developed are based on the well known methods of sequence alignment and hierarchical clustering. The similarity metric used is based on edit distance. The main conclusions of the research are that answer extraction patterns consisting of the most important words of the question and of the following information extracted from the answer context: plain words, part-of-speech tags, punctuation marks and capitalization patterns, can be used in the answer extraction module of a question answering system. This type of patterns and the two new methods for generating answer extraction patterns provide average results when compared to those produced by other systems using the same dataset. However, most answer extraction methods in the question answering systems tested with the same dataset are both hand crafted and based on a system-specific and fine-grained question classification. The the new methods developed in this thesis require no manual creation of answer extraction patterns. As a source of knowledge, they require a dataset of sample questions and answers, as well as a set of text documents that contain answers to most of the questions. The question classification used in the training data is a standard one and provided already in the publicly available data.

Insights into students' conceptual understanding using textual analysis: A case study in signal processing

Concept inventory tests are one method to evaluate conceptual understanding and identify possible misconceptions. The multiple-choice question format, offering a choice between a correct selection and common misconceptions, can provide an assessment of students' conceptual understanding in various dimensions. Misconceptions of some engineering concepts exist due to a lack of mental frameworks, or schemas, for these types of concepts or conceptual areas. This study incorporated an open textual response component in a multiple-choice concept inventory test to capture written explanations of students' selections. The study's goal was to identify, through text analysis of student responses, the types and categorizations of concepts in these explanations that had not been uncovered by the distractor selections. The analysis of the textual explanations of a subset of the discrete-time signals and systems concept inventory questions revealed that students have difficulty conceptually explaining several dimensions of signal processing. This contributed to their inability to provide a clear explanation of the underlying concepts, such as mathematical concepts. The methods used in this study evaluate students' understanding of signals and systems concepts through their ability to express understanding in written text. This may present a bias for students with strong written communication skills. This study presents a framework for extracting and identifying the types of concepts students use to express their reasoning when answering conceptual questions.

Using Relationships for Matching Textual Domain Models with Existing Code

We address the task of mapping a given textual domain model (e.g., an industry-standard reference model) for a given domain (e.g., ERP), with the source code of an independently developed application in the same domain. This has applications in improving the understandability of an existing application, migrating it to a more flexible architecture, or integrating it with other related applications. We use the vector-space model to abstractly represent domain model elements as well as source-code artifacts. The key novelty in our approach is to leverage the relationships between source-code artifacts in a principled way to improve the mapping process. We describe experiments wherein we apply our approach to the task of matching two real, open-source applications to corresponding industry-standard domain models. We demonstrate the overall usefulness of our approach, as well as the role of our propagation techniques in improving the precision and recall of the mapping task.

La articulación textual en los "Progumnásmata" de Nicolao de Mura

[ES]En este trabajo se estudia el uso de los marcadores del discurso y del asíndeton como medios de articulación textual entre los diversos enunciados que constituyen los "Progumnásmata" de Nicolao. Este estudio permite observar si existen diferencias entre las dos partes que componen la edición de Felten y si el uso de partículas de Nicolao es diferente del que hacen los demás autores de "Progumnásmata".

Prototipismo textual, audiovisual y traductológico: una propuesta integradora

Raquel Merino Álvarez, José Miguel Santamaría, Eterio Pajares (eds.)

Exploring Semantic Textual Similarity

[EN]Measuring semantic similarity and relatedness between textual items (words, sentences, paragraphs or even documents) is a very important research area in Natural Language Processing (NLP). In fact, it has many practical applications in other NLP tasks. For instance, Word Sense Disambiguation, Textual Entailment, Paraphrase detection, Machine Translation, Summarization and other related tasks such as Information Retrieval or Question Answering. In this masther thesis we study di erent approaches to compute the semantic similarity between textual items. In the framework of the european PATHS project1, we also evaluate a knowledge-base method on a dataset of cultural item descriptions. Additionaly, we describe the work carried out for the Semantic Textual Similarity (STS) shared task of SemEval-2012. This work has involved supporting the creation of datasets for similarity tasks, as well as the organization of the task itself.

Leitura virtual em língua espanhola: a intervenção dos elementos linguísticos presentes em blogs de professores

Esta dissertação tem como objetivo analisar a intervenção de elementos linguísticos no processo leitor em espanhol como língua estrangeira (E/LE) ,em ambiente virtual, de docente desse idioma. A partir desse objetivo macro, estabelecemos um recorte e nos focamos na análise de como/se elementos linguísticos mais característicos de uma linguagem coloquial podem afetar mais a leitura de um docente de E/LE que teve na sua formação e na sua atividade profissional um contato maior com a língua formal. Nesse contexto, escolhemos o blog como o suporte virtual dos textos a serem lidos pelo sujeito por apresentar uma linguagem mais coloquial. No que se refere ao aporte teórico, esta pesquisa tem com principais bases a Linguística Textual (KOCH, 2009, 2002, 2007; KOCH ; TRAVAGLIA, 1996, 2000) e a leitura sócio-interacional (KATO, 1986, 2007; KLEIMAN, 1993, 1996, 2008; NUNES, 2005; VERGNANO-JUNGER, 2009). Também utilizamos alguns elementos da Análise do Discurso de base enunciativa em pontos nos quais ela dialoga com a perspectiva sócio-interacional, como, por exemplo, na noção de gênero do discurso (MAINGUENEAU, 1996, 2003; BAKTHIN, 2003). A Sociolinguística (MORENO FERNANDÉZ, 1996; ALKMIN, 2001) contribuiu para estabelecer os parâmetros da língua coloquial e formal. Quanto à leitura em ambiente virtual, seguimos Ribeiro (2005), Marcuschi (2007), Santaella (2008) e Vergnano-Junger (2009). Para a elaboração deste trabalho, utilizamos uma metodologia híbrida composta de uma parte documental e de um estudo de caso. A fase documental teve como metas classificar os blogs de docentes de E/LE e selecionar dois para a elaboração de atividades de leitura guiada. O estudo de caso realizado com um docente de E/LE, por sua vez, teve como etapas uma leitura livre, duas guiadas e uma entrevista. Objetivou observar e discutir o perfil e o processo leitor do sujeito, com foco na intervenção de elementos linguísticos. Dos resultados obtidos, podemos destacar uma proposta de classificação dos blogs de professores de E/LE. Com base no estudo de caso, duas considerações merecem destaque: (a) uma maior dificuldade de leitura do texto coloquial, ao que tudo indica, gerada pela variedade lexical e (b) uma tendência do sujeito à leitura linear em ambiente virtual, com atenção voltada, frequentemente, para os aspectos de vocabulário e como esses afetavam a compreensão, demonstrando uma tendência à leitura decodificadora

Reforma e a compreensão de sentidos de Licenciatura: questão filosófica ou de carga horária?

Esta pesquisa se propõe a observar, a partir da análise das entrevistas realizadas com membros do Colegiado das Licenciaturas da UERJ (CL), modos de constituição de sentidos de Licenciatura no âmbito da Reforma das Licenciaturas da UERJ/2006. Coube ao CL, a partir da publicação das Resoluções CNE/CP n 1 e 2/2002, discutir e estabelecer as bases para a implantação da Reforma das Licenciaturas na Universidade, que culminou com a publicação da Deliberação UERJ n 21/2005. Assim, este estudo se desenvolve a partir das seguintes questões: a partir da fala dos entrevistados do Colegiado de Licenciaturas, que sentidos de Licenciatura, Prática e Estágio, se instituem discursivamente? De que modo múltiplas vozes que atravessam a fala dos entrevistados participam no estabelecimento desses sentidos? Para a construção do roteiro de entrevista, foi assumida a perspectiva de Rocha, Daher, e SantAnna (2004). Para a concretização da pesquisa foram considerados os pressupostos da Análise do Discurso de base enunciativa (MAINGUENEAU,1997; 2002; 2008a; 2008b), as contribuições de Authier-Revuz (1990; 1998) sobre os comentários que os enunciadores realizam sobre seu próprio dizer, de SantAnna (2004), para o entendimento do Discurso Relatado, e de Ducrot (1987), para a análise dos enunciados negativos de caráter polêmico. Os resultados apontam para um embate relativo ao papel do CL na redação da Deliberação UERJ n 21/2005, que ora é apresentada como o resultado das discussões ocorridas no CL, ora como uma canetada de instâncias superiores ao CL. Questão que merece destaque, ainda como resultado das análises, é a problemática da desvalorização da discussão sobre Licenciatura, uma realidade na Universidade na época dos debates para a Reforma. Outro aspecto perceptível, foi a preocupação dos membros do CL em definir os espaços ocupados por cada Unidade a partir da Reforma. Além disso, observaram-se algumas mudanças na organização dos cursos de Licenciatura após a Reforma, com a nova divisão de carga horária entre os Institutos Básicos, a Faculdade de Educação e o CAp, que altera o modelo tradicional (3+1), que ainda vigora em muitas Universidades. Essa mudança, ao distribuir o papel de formação de professor entre várias unidades acadêmicas, relativiza o que anteriormente era exclusivo da Faculdade de Educação e leva os Institutos Básicos a ter um envolvimento e uma preocupação maior com a Licenciatura, o que não era uma realidade antes da Reforma. Some-se a isso a formalização do reconhecimento do CAp como formador de professores, pois esse Instituto passou a ter uma participação efetiva no currículo das Licenciaturas, promovendo o reconhecimento institucional do trabalho de ensino e orientação/supervisão dos alunos/estagiários

Técnicas de comunicação e expressão: a semiótica como vetor para a produção textual em diferentes gêneros

Esta tese tem como objetivo apresentar uma nova atitude diante do ensino de produção de textos. Trata-se do resultado de uma experiência didático-pedagógica cuja meta é deflagrar nos discentes a competência em produção textual. Então, são descritas técnicas que, explorando as várias linguagens e códigos, estimulam os discentes à expressão verbal, em especial, à produção de textos escritos. Baseadas em pressupostos semiótico-linguísticos, as dinâmicas utilizadas nas aulas criam um espaço no qual a produção de textos se dá de forma lúdica, atraente, longe dos bloqueios que normalmente impedem que os alunos sejam proficientes na interação sociocomunicativa e, especificamente, na produção textual escrita em diferentes gêneros textuais. As três técnicas que originaram esta tese integram um conjunto de quinze propostas de atividades reunidas sob o título de Técnicas de Comunicação e Expressão TCE. Tais técnicas buscam desinibir e promover a expressão verbal escrita, em especial. TCE (ou a eletiva Semiótica & Linguagem) surge como um novo paradigma no ensino de produção de textos, trazendo, para os futuros professores, elementos motivadores para a prática textual, de forma a dinamizar esse momento que, quase sempre, é sinônimo de tortura, medo, insegurança e, consequentemente, fracasso

A Prova Brasil e a contribuição para os processos de letramento e formação de alunos leitores

A avaliação da Educação Básica tem sido alvo de discussões em diversas esferas da sociedade e centra-se em dois aspectos principais: os quantitativos de controle e os organizacionais dos processos de ensino, ou seja, a avaliação pedagógica. O objetivo desta dissertação é refletir sobre a metodologia utilizada na Prova Brasil e as contribuições que esta avaliação pode oferecer a formação de alunos leitores. Há alguns trabalhos na área já que se trata de uma avaliação relativamente recente. Nossa pesquisa se diferencia das demais ao apresentar uma análise detalhada dos tópicos, descritores e itens que compõem a avaliação. O processo de pesquisa empreendido neste estudo perpassa quatro fases: na primeira etapa analisamos os aspectos particulares do sistema avaliativo nacional, na segunda fase refletimos sobre a construção da proposta avaliativa e sua apresentação, na terceira fase relacionamos os elementos presentes na proposta, analisando de que maneira estes elementos afetam positivamente ou negativamente a avaliação e na última fase apresentamos nossas considerações à luz das teorias linguísticas e pedagógicas. Utilizamos como corpus os itens de Língua Portuguesa referentes ao 5 ano de escolaridade liberados pelo INEP. Nossa pesquisa evidenciou que apesar de cada item ter como objetivo verificar a habilidade expressa por um único descritor, boa parte das questões apresenta problemas de seleção textual ou de elaboração fazendo com que determinadas habilidades não sejam efetivamente contempladas na avaliação, fato este que compromete diretamente a confiabilidade dos resultados apresentados. A contribuição social desta pesquisa reside na orientação para o trabalho com a multiplicidade de gêneros que circulam na sociedade, ressaltando a importância da formação plena do educando, não para que ele demonstre bom desempenho em avaliações, mas para que ele possa atuar em favor de sua própria vida e em benefício da sociedade em que está inserido, transformando-a