Reflexiones sobre las funciones de los sistemas de evaluación educativa de gran escala. Entrevista a Silvina Larripa

Fil: Larripa, Silvina. Universidad Nacional de La Plata. Facultad de Humanidades y Ciencias de la Educación; Argentina.

Estándares, evaluación y currículo

Entre los enfoques actuales de los diseños curriculares de diferentes niveles educativos, el currículo basado en estándares es uno de los más difundidos. Su adopción es objeto de particular recomendación por algunos especialistas en política educativa y en diseño curricular. Acá se analizan los orígenes del uso del concepto de estándar en los campos de la evaluación y del currículo. El propósito no es hacer un estudio histórico de la cuestión sino mostrar, desde una perspectiva didáctica, algunos de los significados de este concepto cuando se emplean en estos dominios, así como sus posibles consecuencias deseadas y no deseadas.

Estándares, evaluación y currículo

Entre los enfoques actuales de los diseños curriculares de diferentes niveles educativos, el currículo basado en estándares es uno de los más difundidos. Su adopción es objeto de particular recomendación por algunos especialistas en política educativa y en diseño curricular. Acá se analizan los orígenes del uso del concepto de estándar en los campos de la evaluación y del currículo. El propósito no es hacer un estudio histórico de la cuestión sino mostrar, desde una perspectiva didáctica, algunos de los significados de este concepto cuando se emplean en estos dominios, así como sus posibles consecuencias deseadas y no deseadas.

Ampliación de un portal Wordpress para el diseño de cursos basados en la metodología PBL

La metodología PBL propone el aprendizaje basado en problemas. A grandes rasgos sugiere que el estudiante sea el protagonista de su propio aprendizaje mediante el desarrollo de proyectos. Con esa idea, el grupo de innovación educativa DMAE-DIA (Desarrollo de nuevas Metodologías de Aprendizaje/Evaluación del Departamento de Informática Aplicada), comenzó la construcción de un portal web para mostrar los principios de dicha metodología, que permitiese a los usuarios del mismo conocerla y aprender a utilizarla en un entorno colaborativo. El objetivo de este trabajo es ampliar este portal para que los usuarios sean capaces de crear, eliminar y mantener sus propios proyectos para posteriormente utilizarlos como base para su práctica docente. El trabajo se ha planteado siguiendo el paradigma de la orientación a objetos, mediante la metodología UML y siguiendo el ciclo de vida del software y se ha implementado utilizando como base el CMS Wordpress y desarrollando con los lenguajes que más adelante se especificarán. Wordpress por su parte es un sistema de gestión de contenidos dotado de gran potencia que permite, de una manera muy sencilla, construir entornos web con el mínimo esfuerzo. ABSTRACT The PBL methodology proposed problem-based learning. Roughly suggests that the student is the protagonist of their own learning by developing projects. With that, the group of educational innovation DMAE-DIA (Development of new Learning/Assessment methodologies, Department of Applied Computing) began building a web portal to show the principles of this methodology, which would allow users to know and learn to use it in a collaborative environment. The aim of this work is to extend this website so that users are able to create, delete and maintain their own projects for later use as the basis for their teaching practice. The work has been raised following the paradigm of object orientation, by following the UML methodology and software life cycle and has been implemented using as a basis the CMS Wordpress and developed with the languages that will be specified later. Meanwhile Wordpress is a content management system endowed with great power that allows,in a very simple way to build web environments with minimal effort.

Especificaciones eMathTeacher, creación del Modelo Granular Lingüístico de la evaluación del aprendizaje humano, y diseño de sistemas que implementan estos conceptos

El concepto de algoritmo es básico en informática, por lo que es crucial que los alumnos profundicen en él desde el inicio de su formación. Por tanto, contar con una herramienta que guíe a los estudiantes en su aprendizaje puede suponer una gran ayuda en su formación. La mayoría de los autores coinciden en que, para determinar la eficacia de una herramienta de visualización de algoritmos, es esencial cómo se utiliza. Así, los estudiantes que participan activamente en la visualización superan claramente a los que la contemplan de forma pasiva. Por ello, pensamos que uno de los mejores ejercicios para un alumno consiste en simular la ejecución del algoritmo que desea aprender mediante el uso de una herramienta de visualización, i. e. consiste en realizar una simulación visual de dicho algoritmo. La primera parte de esta tesis presenta los resultados de una profunda investigación sobre las características que debe reunir una herramienta de ayuda al aprendizaje de algoritmos y conceptos matemáticos para optimizar su efectividad: el conjunto de especificaciones eMathTeacher, además de un entorno de aprendizaje que integra herramientas que las cumplen: GRAPHs. Hemos estudiado cuáles son las cualidades esenciales para potenciar la eficacia de un sistema e-learning de este tipo. Esto nos ha llevado a la definición del concepto eMathTeacher, que se ha materializado en el conjunto de especificaciones eMathTeacher. Una herramienta e-learning cumple las especificaciones eMathTeacher si actúa como un profesor virtual de matemáticas, i. e. si es una herramienta de autoevaluación que ayuda a los alumnos a aprender de forma activa y autónoma conceptos o algoritmos matemáticos, corrigiendo sus errores y proporcionando pistas para encontrar la respuesta correcta, pero sin dársela explícitamente. En estas herramientas, la simulación del algoritmo no continúa hasta que el usuario introduce la respuesta correcta. Para poder reunir en un único entorno una colección de herramientas que cumplan las especificaciones eMathTeacher hemos creado GRAPHs, un entorno ampliable, basado en simulación visual, diseñado para el aprendizaje activo e independiente de los algoritmos de grafos y creado para que en él se integren simuladores de diferentes algoritmos. Además de las opciones de creación y edición del grafo y la visualización de los cambios producidos en él durante la simulación, el entorno incluye corrección paso a paso, animación del pseudocódigo del algoritmo, preguntas emergentes, manejo de las estructuras de datos del algoritmo y creación de un log de interacción en XML. Otro problema que nos planteamos en este trabajo, por su importancia en el proceso de aprendizaje, es el de la evaluación formativa. El uso de ciertos entornos e-learning genera gran cantidad de datos que deben ser interpretados para llegar a una evaluación que no se limite a un recuento de errores. Esto incluye el establecimiento de relaciones entre los datos disponibles y la generación de descripciones lingüísticas que informen al alumno sobre la evolución de su aprendizaje. Hasta ahora sólo un experto humano era capaz de hacer este tipo de evaluación. Nuestro objetivo ha sido crear un modelo computacional que simule el razonamiento del profesor y genere un informe sobre la evolución del aprendizaje que especifique el nivel de logro de cada uno de los objetivos definidos por el profesor. Como resultado del trabajo realizado, la segunda parte de esta tesis presenta el modelo granular lingüístico de la evaluación del aprendizaje, capaz de modelizar la evaluación y generar automáticamente informes de evaluación formativa. Este modelo es una particularización del modelo granular lingüístico de un fenómeno (GLMP), en cuyo desarrollo y formalización colaboramos, basado en la lógica borrosa y en la teoría computacional de las percepciones. Esta técnica, que utiliza sistemas de inferencia basados en reglas lingüísticas y es capaz de implementar criterios de evaluación complejos, se ha aplicado a dos casos: la evaluación, basada en criterios, de logs de interacción generados por GRAPHs y de cuestionarios de Moodle. Como consecuencia, se han implementado, probado y utilizado en el aula sistemas expertos que evalúan ambos tipos de ejercicios. Además de la calificación numérica, los sistemas generan informes de evaluación, en lenguaje natural, sobre los niveles de competencia alcanzados, usando sólo datos objetivos de respuestas correctas e incorrectas. Además, se han desarrollado dos aplicaciones capaces de ser configuradas para implementar los sistemas expertos mencionados. Una procesa los archivos producidos por GRAPHs y la otra, integrable en Moodle, evalúa basándose en los resultados de los cuestionarios. ABSTRACT The concept of algorithm is one of the core subjects in computer science. It is extremely important, then, for students to get a good grasp of this concept from the very start of their training. In this respect, having a tool that helps and shepherds students through the process of learning this concept can make a huge difference to their instruction. Much has been written about how helpful algorithm visualization tools can be. Most authors agree that the most important part of the learning process is how students use the visualization tool. Learners who are actively involved in visualization consistently outperform other learners who view the algorithms passively. Therefore we think that one of the best exercises to learn an algorithm is for the user to simulate the algorithm execution while using a visualization tool, thus performing a visual algorithm simulation. The first part of this thesis presents the eMathTeacher set of requirements together with an eMathTeacher-compliant tool called GRAPHs. For some years, we have been developing a theory about what the key features of an effective e-learning system for teaching mathematical concepts and algorithms are. This led to the definition of eMathTeacher concept, which has materialized in the eMathTeacher set of requirements. An e-learning tool is eMathTeacher compliant if it works as a virtual math trainer. In other words, it has to be an on-line self-assessment tool that helps students to actively and autonomously learn math concepts or algorithms, correcting their mistakes and providing them with clues to find the right answer. In an eMathTeacher-compliant tool, algorithm simulation does not continue until the user enters the correct answer. GRAPHs is an extendible environment designed for active and independent visual simulation-based learning of graph algorithms, set up to integrate tools to help the user simulate the execution of different algorithms. Apart from the options of creating and editing the graph, and visualizing the changes made to the graph during simulation, the environment also includes step-by-step correction, algorithm pseudo-code animation, pop-up questions, data structure handling and XML-based interaction log creation features. On the other hand, assessment is a key part of any learning process. Through the use of e-learning environments huge amounts of data can be output about this process. Nevertheless, this information has to be interpreted and represented in a practical way to arrive at a sound assessment that is not confined to merely counting mistakes. This includes establishing relationships between the available data and also providing instructive linguistic descriptions about learning evolution. Additionally, formative assessment should specify the level of attainment of the learning goals defined by the instructor. Till now, only human experts were capable of making such assessments. While facing this problem, our goal has been to create a computational model that simulates the instructor’s reasoning and generates an enlightening learning evolution report in natural language. The second part of this thesis presents the granular linguistic model of learning assessment to model the assessment of the learning process and implement the automated generation of a formative assessment report. The model is a particularization of the granular linguistic model of a phenomenon (GLMP) paradigm, based on fuzzy logic and the computational theory of perceptions, to the assessment phenomenon. This technique, useful for implementing complex assessment criteria using inference systems based on linguistic rules, has been applied to two particular cases: the assessment of the interaction logs generated by GRAPHs and the criterion-based assessment of Moodle quizzes. As a consequence, several expert systems to assess different algorithm simulations and Moodle quizzes have been implemented, tested and used in the classroom. Apart from the grade, the designed expert systems also generate natural language progress reports on the achieved proficiency level, based exclusively on the objective data gathered from correct and incorrect responses. In addition, two applications, capable of being configured to implement the expert systems, have been developed. One is geared up to process the files output by GRAPHs and the other one is a Moodle plug-in set up to perform the assessment based on the quizzes results.

Concepções e práticas de avaliação de professores de ciências físico-químicas do ensino básico

Este estudo teve como objetivo caracterizar as concepções e práticas de avaliação de professores portugueses de Ciências Físico-Químicas do ensino básico e conhecer como estes integram a avaliação nas suas aulas no contexto de uma reorganização curricular. Realizaram-se três estudos de caso, em que participaram professores com menos de três anos de serviço. A recolha de dados consistiu na observação naturalista de aulas, entrevistas semiestruturadas e documentos fornecidos pelos participantes. Os resultados evidenciam duas concepções de avaliação das aprendizagens: avaliação da aprendizagem e avaliação para a aprendizagem. Um dos participantes evidencia uma concepção de avaliação da aprendizagem, valorizando uma avaliação de natureza sumativa. Os professores com uma concepção sobre avaliação para a aprendizagem promovem uma avaliação orientada para a melhoria das aprendizagens, valorizando o carácter formativo da avaliação. Relativamente às práticas avaliativas dos três participantes, verificou-se que os critérios de avaliação não são explicitados aos alunos, o feedback é pouco frequente e os alunos têm um papel reduzido no processo de avaliação. Todos os professores demonstram dificuldades na avaliação das competências atitudinais e processuais, sendo que, apenas um dos participantes elabora registos de observação para avaliar estas competências. Os testes constituem o principal instrumento de avaliação nas aulas dos professores participantes neste estudo, o que é coerente com uma concepção de ensino e aprendizagem ainda, marcadamente tradicional.

Estudos comparativos sobre a elaboração de mapas conceituais durante processo de avaliação da aprendizagem: identificando a importância das demandas e do efeito de preparação

Os mapas conceituais são ferramentas gráficas que possibilitam a representação dos modelos mentais do aluno. Devido a essa capacidade, o mapa conceitual pode ser utilizado como ferramenta avaliativa de conhecimento. O uso dessa ferramenta em sala de aula gera cargas na memória de trabalho que podem ser referentes ao conteúdo (carga intrínseca) ou à forma como esse recurso está sendo trabalhado na sala de aula (carga extrínseca). Este trabalho tem por objetivo investigar como os mapas conceituais auxiliam na avaliação da aprendizagem da disciplina Ciências da Natureza: Ciência, Cultura e Sociedade ofertada na Universidade de São Paulo para alunos ingressantes de diversos cursos de graduação (n = 64) durante o período de 2013.1 sobre o conteúdo de Mudanças Climáticas. Nas turmas avaliadas o mapa conceitual poderia ser utilizado como ferramenta de preparação para prova (MCPREP) como também era utilizado como parte da avaliação formal da disciplina (MC-AVAL). Essa pesquisa se constitui de três Estudos que investigam: 1. As diferenças de perfis de mapas conceituais obtidos na condição de MC-PREP x MCAVAL; 2. Se o grupo de alunos que fizeram MC-PREP tiveram MC-AVAL com perfil diferente daqueles que não fizeram; 3. A existência de uma correlação entre as características do MC-AVAL com o conhecimento declarativo dos estudantes. Os mapas conceituais foram avaliados considerando aspectos estruturais e semânticos. As metodologias das análises realizadas foram retiradas de trabalhos presente na literatura. Entre os aspectos semânticos estavam o uso de materiais instrucionais, a natureza das proposições, a presença de erros e a aderência a pergunta focal. Além dessas análises, foi verificada a presença de agrupamentos naturais que pudessem ser explicados com uso das categorias teóricas. A análise dos resultados indica que os mapas conceituais das condições MC-PREP e MC-AVAL são bastante distintas entre si, pois atendiam a objetivos educacionais diferentes. No Estudo 2 verificou-se que o MC-PREP não influenciou fortemente a elaboração do MC-AVAL, pois a diminuição da carga extrínseca provocada pela elaboração de MC-PREP não foi suficiente para mostrar diferenças entre os grupos, já que ambos estavam altamente treinados na técnica de mapeamento conceitual. Por fim, no Estudo 3, o principal fator correlacionando o conhecimento declarativo com a complexidade dos mapas conceituais foi o percentual de proposições apropriadas. As conclusões do trabalho são que a demanda de elaboração do mapa conceitual é realmente orientadora de produto, a elaboração de um mapa conceitual a mais em um grupo bem treinado na técnica não altera seu desempenho e o principal meio de avaliar os mapas conceituais deve ser a leitura de suas proposições constituintes.

Concepções e práticas de avaliação de professores de ciências físico-químicas do ensino básico

Este estudo teve como objetivo caracterizar as concepções e práticas de avaliação de professores portugueses de Ciências Físico-Químicas do ensino básico e conhecer como estes integram a avaliação nas suas aulas no contexto de uma reorganização curricular. Realizaram-se três estudos de caso, em que participaram professores com menos de três anos de serviço. A recolha de dados consistiu na observação naturalista de aulas, entrevistas semiestruturadas e documentos fornecidos pelos participantes. Os resultados evidenciam duas concepções de avaliação das aprendizagens: avaliação da aprendizagem e avaliação para a aprendizagem. Um dos participantes evidencia uma concepção de avaliação da aprendizagem, valorizando uma avaliação de natureza sumativa. Os professores com uma concepção sobre avaliação para a aprendizagem promovem uma avaliação orientada para a melhoria das aprendizagens, valorizando o carácter formativo da avaliação. Relativamente às práticas avaliativas dos três participantes, verificou-se que os critérios de avaliação não são explicitados aos alunos, o feedback é pouco frequente e os alunos têm um papel reduzido no processo de avaliação. Todos os professores demonstram dificuldades na avaliação das competências atitudinais e processuais, sendo que, apenas um dos participantes elabora registos de observação para avaliar estas competências. Os testes constituem o principal instrumento de avaliação nas aulas dos professores participantes neste estudo, o que é coerente com uma concepção de ensino e aprendizagem ainda, marcadamente tradicional.

Supporting learners’ agentic engagement with feedback:a systematic review and a taxonomy of recipience processes

Much has been written in the educational psychology literature about effective feedback and how to deliver it. However, it is equally important to understand how learners actively receive, engage with, and implement feedback. This article reports a systematic review of the research evidence pertaining to this issue. Through an analysis of 195 outputs published between 1985 and early 2014, we identified various factors that have been proposed to influence the likelihood of feedback being used. Furthermore, we identified diverse interventions with the common aim of supporting and promoting learners' agentic engagement with feedback processes. We outline the various components used in these interventions, and the reports of their successes and limitations. Moreover we propose a novel taxonomy of four recipience processes targeted by these interventions. This review and taxonomy provide a theoretical basis for conceptualizing learners' responsibility within feedback dialogues and for guiding the strategic design and evaluation of interventions. Receiving feedback on one's skills and understanding is an invaluable part of the learning process, benefiting learners far more than does simply receiving praise or punishment (Black & Wiliam, 1998 Black, P., & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5, 7–74. doi:10.1080/0969595980050102[Taylor & Francis Online]; Hattie & Timperley, 2007 Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77, 81–112. doi:10.3102/003465430298487[CrossRef], [Web of Science ®]). Inevitably, the benefits of receiving feedback are not uniform across all circumstances, and so it is imperative to understand how these gains can be maximized. There is increasing consensus that a critical determinant of feedback effectiveness is the quality of learners' engagement with, and use of, the feedback they receive. However, studies investigating this engagement are underrepresented in academic research (Bounds et al., 2013 Bounds, R., Bush, C., Aghera, A., Rodriguez, N., Stansfield, R. B., & Santeen, S. A. (2013). Emergency medicine residents' self-assessments play a critical role when receiving feedback. Academic Emergency Medicine, 20, 1055–1061. doi:10.1111/acem.12231[CrossRef], [PubMed], [Web of Science ®]), which leaves a “blind spot” in our understanding (Burke, 2009 Burke, D. (2009). Strategies for using feedback students bring to higher education. Assessment & Evaluation in Higher Education, 34, 41–50. doi:10.1080/02602930801895711[Taylor & Francis Online], [Web of Science ®]). With this blind spot in mind, the present work sets out to systematically map the research literature concerning learners' proactive recipience of feedback. We use the term “proactive recipience” here to connote a state or activity of engaging actively with feedback processes, thus emphasizing the fundamental contribution and responsibility of the learner (Winstone, Nash, Rowntree, & Parker, in press Winstone, N. E., Nash, R. A., Rowntree, J., & Parker, M. (in press). ‘It'd be useful, but I wouldn't use it’: Barriers to university students' feedback seeking and recipience. Studies in Higher Education. doi: 10.1080/03075079.2015.1130032[Taylor & Francis Online]). In other words, just as Reeve and Tseng (2011 Reeve, J., & Tseng, M. (2011). Agency as a fourth aspect of student engagement during learning activities. Contemporary Educational Psychology, 36, 257–267. doi:10.1016/j.cedpsych.2011.05.002[CrossRef], [Web of Science ®]) defined “agentic engagement” as a “student's constructive contribution into the flow of the instruction they receive” (p. 258), likewise proactive recipience is a form of agentic engagement that involves the learner sharing responsibility for making feedback processes effective.

Working adult students' perspectives on persisting in college

The purpose of this study was to describe and explain working adult undergraduate students' perspectives on persistence in college in order to address the applicability of retention theory to a specific group of college students. Retention of college students is a major concern in higher education where persistence rates have continued to decline for the last 16 years and changing student demographics have influenced enrollment patterns. ^ A qualitative research design was used. Data were collected through in-depth semi-structured interviews with nine working adult undergraduate students. The participants were selected to include diversity in age, race/ethnicity, family roles, career/work levels, college majors, and educational histories. ^ Triangulation was performed on data from the interviews, participant data forms, and a research journal. Open and axial coding were used to generate emerging themes. Member checking was used to verify the interpretation of the participants' perspectives. A peer reviewer corroborated the data analysis. Three major themes emerged from the data which explained how the students stayed motivated, engaged in learning, and managed the institutional aspects of college. ^ Five conclusions were drawn from the findings of this study. First, working adult students described their core experience of college as both positive and negative, creating tensions and often conflicts that influenced their persistence. Second, persistence factors associated with working adult students included personal aspects, such as having clear career/life goals, self management skills, and supportive relationships; learning aspects, such as interactive teaching methods, connections to prior learning, and relevance to career/life goals; and institutional aspects, such as customer service orientation of staff, flexibility of policies and procedures, and convenient access to information. Third, current retention theory was applicable to working adult students. However, working adult students described their experience of academic and social integration differently from that of traditional college students found in the literature. Fourth, findings from this study supported the developmental components of the Adult Persistence in Learning model (MacKinnon-Slaney, 1994). Finally, the study findings indicated a clearly active role required of the institution in the persistence of working adult students by providing flexibility and accessibility in procedures and services. ^