Revisión de los conceptos fundamentales sobre la evaluación de las instituciones universitarias. Algunas propuestas y consideraciones.

El trabajo tiene como objetivo principal proporcionar herramientas que contribuyan a la mejora del sistema de educación superior universitaria en Argentina. Se trata de investigar las funciones de las instituciones universitarias a fin de diseñar políticas de innovación institucional que den respuestas válidas a las necesidades y exigencias de la sociedad actual. Presenta un análisis de la evaluación en general, de la evaluación institucional, de los diferentes modelos de evaluación y de la calidad de la educación superior. Describe algunos ejemplos de evaluación institucional en Holanda, Francia, España, Estados Unidos y México. Estudia el sistema universitario argentino precisando sus rasgos generales y cómo se lleva a cabo la evaluación del mismo, aportando datos estadísticos. Se apuntan dos tipos de evaluación institucional complementarias, una externa basada en los indicadores de rendimiento o en un sistema experto; y otra interna basada en la autoevaluación o autorregulación. Observa que sin una política firme y sostenida, que resulte de un acuerdo razonable entre los distintos sectores que componen el poder, será muy difícil que la evaluación institucional llegue a convertirse en una práctica regular de la vida académica argentina..

Estrategias para la evaluación del aprendizaje en ingeniería.

Detectar líneas y estrategias de evaluación que permitan a los docentes mejorar su práctica y elevar el nivel de aprovechamiento de sus alumnos. Dinamizar los procesos de cambio e innovación curricular. Buscar alternativas que hagan de la evaluación del aprendizaje un elemento verdaderamente útil y formativo, tanto para el alumnado como para el profesorado. Bibliografía sobre la temática. Investigación sobre literatura científica, investigación teórica. Revisión bibliográfica. Análisis de contenido, análisis comparativo, análisis conceptual. La investigación hace referencia al concepto de evaluación educativa y a sus diferentes tipos, atendiendo a los diferentes papeles que juega en función de la perspectiva curricular desde la que sea analizada. Se aborda el objeto de la evaluación: la evaluación de los aprendizajes y la evaluación de los procesos educativos. Son contempladas las bases teóricas y metodológicas de la evaluación institucional, como un proceso natural y necesario para la introducción de cambios en la Universidad, finalmente se realiza una propuesta de evaluación, dentro del ámbito de la Ingeniería sobre una asignatura y se confecciona un plan de evaluación sobre un programa. La evaluación del aprendizaje es una tarea compleja y más todavía dentro de la ingeniería donde el conjunto de conocimientos y capacidades que se promueven en los alumnos debe reflejarse en los instrumentos empleados a la hora de evaluarlos. Este hecho demanda de los profesores un mayor esfuerzo para mejorar las prácticas de evaluación y ofrecer respuestas técnicas a los problemas que surgen en la docencia, respuestas que sólo es posible ofrecer en base a las investigaciones realizadas en las aulas y por la motivación de mejorar la calidad de la actuación docente.

El alumno : un indicador en la evaluación de la calidad de la Universidad.

1.- Efectuar un estudio documental sobre los modelos de evaluación institucional universitaria, con el fin de recabar información sobre las dimensiones o indicadores más importantes que integran los principales proceso evaluativos y que hacen referencia al 'alumnado'. 2.- Recabar la opinión del estudiante de la Universidad de Salamanca sobre cada una de estas dimensiones para llegar a establecer un modelo de indicadores de calidad universitaria, desde el subsistema del alumnado. 3.- Contrastar los resultados tanto desde un planteamiento cuantitativo como cualitativo en su respuesta, comprobando la coherencia de sus opiniones bajo dos formatos metodológicamente diferentes de recogida de información. La muestra fue extraída del conjunto de alumnos matriculados en primeros y últimos cursos de la totalidad de titulaciones existentes en la Universidad de Salamanca en el curso académico 1999/2000, en total 14835 sujetos. Ésta se compone de 807 alumnos y se diseñó a través del procedimiento de muestreo aleatorio estratificado, en función de la rama de especialización a la que pertenecen las titulaciones (Ciencias de la Salud, Humanidades, Jurídico-Sociales, Experimentales y Técnicas), realizando los cálculos en función del curso de pertenencia. Se seleccionaron de forma aleatoria 23 grupos de 15 titulaciones; la muestra resultante es representativa de la población. Se ha llevado a cabo un diseño de investigación empírica no experimental, descriptivo y correlacional, de modo que se llegan a explorar relaciones entre las diferentes variables del estudio, asociando y comparando grupos de datos. Se utilizan los estudios de encuesta, en los que se recoge y describe información que permite, posteriormente, informar sobre la variabilidad de una variable que queda explicada por otra u otras variables del estudio. Se procedió a especificar las variables en juego sobre los fenómenos a estudiar: los factores que condicionan la calidad de una institución universitaria. De acuerdo con una estructura relacional que clasifica las variables en entrada, proceso y producto, se trabajó con un total de 55. Las variables de entrada recogen los aspectos básicos que describen al alumnado de acuerdo con su identificación personal y académica, así como otros factores de clasificación y condicionantes de la realización de estudios universitarios. Se han tratado los aspectos relacionados con las actitudes del alumnado de nuevo ingreso hacia la Universidad. En segundo lugar, las variables de proceso hacen referencia al funcionamiento interno de la Universidad y al grado en que el alumno participa de ese funcionamiento, así como los elementos relacionados con su formación, dando cuenta de las actividades realizadas y los mecanismos de inserción laboral llevados a cabo. Por último, las variables de producto abarcan, por un lado, las actitudes del alumnado de último año de carrera con respecto a lo que ha sido su paso por la Universidad; en un segundo momento, se han tratado los elementos relacionados con su satisfacción con la institución universitaria, así como las características de su rendimiento académico. Para la recogida de información se han utilizado dos instrumentos: a.- Un cuestionario dirigido a los alumnos de primeros y últimos cursos: son la principal fuente de información y b.- Se ha acudido al Centro de Proceso de Datos de la Universidad de Salamanca, que ha aportado información referente a variables de identificación y rendimiento académico principalmente. El cuestionario, en función de la forma de recogida de datos, se definió como autoaplicado o autoadministrado, con la supervisión del encuestador, que explicó la forma de rellenarlo y resolvió cualquier duda. Está formado por 136 preguntas, de las que 125 son cerradas, 4 semicerradas y 7 abiertas. El tiempo de cumplimentación osciló entre 20 y 30 minutos y se estructuró en 10 dimensiones a lo largo de las cuales se concretaban todas las variables: características de los alumnos, objetivos de la Educación Superior, derechos y deberes de los estudiantes universitarios, servicios a disposición de la comunidad universitaria, órganos de gobierno y representación, formación académica, formación extra-académica, satisfacción personal, inserción en el mercado laboral y calidad universitaria. Concedidos los permisos pertinentes para obtener datos oficiales, el Centro de Proceso de Datos aportó dos tipos de información. Por un lado, datos poblacionales como el número de alumnos matriculados (en titulaciones de primer y segundo ciclo) durante el curso académico 1999/2000, en función de diferentes variables independientes (titulación, curso, sexo y edad); la calificación media y la calificación de acceso a la Universidad obtenida por estos estudiantes. Por otro lado, ofreció datos muestrales del alumnado que aportó su DNI en el cuestionario (63 por ciento) como la nota de acceso y la nota media obtenida en la Universidad. Los 807 cuestionarios recogidos arrojaron un total de 103.672 respuestas, de las que 101.828 fueron sometidas a análisis cuantitativo y 1.844 a análisis cualitativo. El estudio cuantitativo, a través del cual se explican las diferentes variables, comienza con: a.- un estudio descriptivo, cuyo objetivo es descubrir irregularidades o características existentes en este conjunto de datos, así como su organización interna; b.- Se continua con una análisis comparativo o inferencial, para verificar la representatividad de la muestra y su posterior generalización (t de Student, ANOVA y chi cuadrado). c.- Se han utilizado diferentes índices de correlación para establecer relaciones entre diferentes variables, para validar los instrumentos como para la obtención de resultados (r de Pearson y alfa de Cronbach). d.- Debido al elevado número de variables con las que se trabajaba, tratando de revelar características de ellas, se utilizaron técnicas de análisis multivariado (AFAC, regresión múltiple y análisis discriminante). En segundo lugar, los datos aportados por las variables cualitativas, de carácter textual, fueron analizados a través de la técnica del análisis de contenido, con el objeto de obtener una explicación sobre determinados aspectos de la vida universitaria, entre otros, los elementos directamente relacionados con su formación como estudiantes. En función de la estructura que relaciona las variables del estudio y el proceso metodológico llevado a cabo, podemos destacar como resultados más significativos los siguientes: 1.- La formación de los estudiantes debe priorizar la adquisición de habilidades básicas como la reflexión, la participación y el autoaprendizaje, a fin de tener éxito personal y profesional. 2.- Esta formación ha de tener carácter integral que contemple aspectos teóricos y prácticos, necesarios para el desarrollo laboral y social. 3.- Tal y como han revelado estos estudiantes, una universidad de calidad es aquélla que aporta una formación integral al alumno, de modo que responda a sus necesidades laborales y sociales. Posee un profesorado cualificado y satisfecho, unos recursos adecuados a las necesidades de la comunidad, fomenta la investigación y cumple sus objetivos. Debe poseer una gran diversidad de titulaciones, servicios adicionales y atender a los estudiantes de forma individualizada. Las conclusiones se recogen de manera sistematizada en cuatro grandes dimensiones: a.- Conclusiones en el nivel teórico, que recogen las aportaciones de distintos autores sobre la lógica de la evaluación educativa y el empleo de indicadores para conseguir instituciones de calidad. b.- Conclusiones en el ámbito metodológico, que reflejan el proceso llevado a cabo para cumplir los objetivos propuestos. c.- Conclusiones referidas al contenido, donde se reflejan los aspectos estadísticamente más significativos tras la aplicación de los instrumentos y los análisis de datos .d.- Para terminar, se presenta un modelo con los indicadores más significativos que, desde el punto de vista de los alumnos, definen una Universidad de calidad. Su particularidad reside en su naturaleza eminentemente cualitativa, donde la fuente de información ha de ser el alumno universitario y donde el instrumento adecuado para recoger la información puede ser un protocolo estandarizado de evaluación compuesto por ítems de valoración escalar. Esta propuesta consta de 6 dimensiones básicas (formación académica, orientación académica, orientación profesional, servicios a disposición de la comunidad universitaria, evaluación del rendimiento académico y satisfacción del alumnado), concretadas en 21 indicadores.

Indicadores de calidad y técnicas de recogida de datos para la evaluación de la docencia universitaria.

Obtener un conocimiento en profundidad de la práctica docente, para proporcionar al profesorado la retroalimentación necesaria para que fuese posible mantener los puntos fuertes y fortalecer los débiles de su docencia, lo que podría traducirse en una mejora. Profesores de la Universidad de Málaga: 8 profesores de los cuales 2 de ellos sólo formaron parte de la prueba piloto del cuestionario. Se realizó una revisión teórica sobre la evaluación institucional centrada en el profesorado mediante indicadores de calidad, recopilando las investigaciones publicadas hasta el momento sobre el tema. Empleándose para la recogida de información una gran variedad de estrategias metodológicas que permitiesen realizar una triangulación de los resultados obtenidos por cada técnica. Grupo de discusión, análisis de documentos, el cuestionario, la entrevista y la observación. Selección de la información en base a un listado de indicadores de calidad. Se presenta una investigación longitudinal con una vertiente cualitativa y otra cuantitativa, en el que se emplearon métodos descriptivos basados en la utilización de indicadores de calidad. Se pretendió proporcionar al profesorado una estrategia de acercamiento a su práctica diaria, además de favorecer la evolución de la evaluación, así como la proliferación de instrumentos de recogida de información. La evaluación fue considerada como un proyecto de mejora y perfeccionamiento continuo. El objetivo global se ha alcanzado y los resultados han sido positivos: se pudo conocer en profundidad la práctica diaria de los profesores, obteniendo material en abundancia e identificando una serie de variables. La información obtenida fue suficientemente contrastada. Se pretendió analizar los procesos de enseñanza-aprendizaje, y concretamente los estudios docentes planteados en los mismos. En definitiva, se pretendió dar a conocer qué es lo que sucede en el aula, así como los posibles factores que pueden estar interviniendo en el buen funcionamiento de la misma.

La evaluación de la formación : el caso del centro de formación avanzada e innovación educativa.

Analiza el fenómeno de la actividad docente universitaria en su contexto colectivo y en el marco de la evaluación institucional. Analiza el proceso llegando hasta el análisis teórico de la relación entre instrumentos de la evaluación institucional y los modelos de las buenas prácticas docentes actualmente aceptadas. En una segunda parte analiza diferentes hipótesis sobre la implicación y los efectos de la evaluación de la actividad docente mediante un exhaustivo análisis empírico. Utiliza para ello una serie de encuestas sobre la práctica educativa en docencia (CAP) y encuestas educativas en los cursos de formación en idiomas de la Universidad de León. Junto a ello utiliza 1.123 cuestionarios correspondientes a la edición del Curso de Aptitud Pedagógica del año académico 2004-2005. La muestra utilizada en todo momento son alumnos del CAP, por tratarse de formación didáctico-pedagógica. El modelo de universidad que se ha internacionalizado en las tres últimas décadas conlleva, entre otras características, la relevancia asignada a la evaluación como sistema de rendición de cuentas de la sociedad de su eficiencia como cima de pirámide educativa, y particularmente por su relación con las siguientes funciones: 1) La generación y transmisión de ciencia y conocimiento. 2) La actividad investigadora teórica o aplicada. 3) La formación de profesores. En definitiva, se analiza la evaluación institucional de la formación superior desde los modelos teóricos de buenas prácticas docentes, las metodologías, los instrumentos de medición de la calidad en cuanto a la labor formadora, para extraer, a partir de un análisis de caso específico de centro de formación de formadores, conclusiones al respecto de los desajustes entre justificación e implementación de la evaluación.

Evaluación y procesos de cambio.

Monográfico con el título: Evaluar la intervención

Elaboración de un sistema de indicadores de evaluación de la calidad universitaria desde la perspectiva del alumnado.

Resumen tomado de la publicación

Las políticas de evaluación de las universidades vista por un grupo de expertos.

Resumen basado en el de la publicación

Metodología innovadora de evaluación de centros educativos.

Manual que aborda los múltiples aspectos de la evaluación institucional de forma sistemática y con un sentido de globalidad. Estructurado en unidades didácticas, presenta un estudio crítico de la Investigación-Acción aplicada a la autoevaluación institucional; desarrolla una concepción metodológica acerca de la misma vertebrada en torno a cuatro ejes: síntesis de los conceptos básicos acuñados por la teoría evaluadora, tratamiento de aspectos metodológicos generales (justificación, características, objetivos, enfoques, técnicas, etc.), presentación de varios modelos de evaluación de centros y de un conjunto de instrumentos elaborados por los distintos investigadores, y propuesta innovadora (modelo) para la autoevaluación, con dos instrumentos anexos (Escalas de Evaluación Diagnóstica); por último, ofrece una visión de técnicas, procedimientos e instrumentos de cara a la aplicación de las dos Escalas de Evaluación anteriores (para Colegios de Primaria e Institutos de Secundaria).

Nuevas funciones de la evaluación.

Resumen basado en el de la publicación

Evaluación de centros docentes : una propuesta de práctica evaluativa.

Se incluyen ocho anexos con instrumentos de aplicación de la propuesta

El Plan Nacional de Evaluación de la Calidad de las Universidades : los objetivos del plan : evaluación para mejorar.

Es fundamental entender la evaluación también como un proceso de valoración del progreso en la consecución de mayores niveles de calidad en la actividad académica. Es decir, atender no solamente al valor absoluto de lo conseguido, sin tambíen a las mejoras relativas en el proceso de mejora que se ha desarrollado o se está desarrollando en un campo de investigación concreto, en una titulación, en una práctica de gestión académica. En este sentido, la evaluación debería contribuir a acercar la imagen de prestigio del concepto de universidad al de la imagen de cada una de las partes, procesos y actores que conforman la realidad universitaria. Esto refuerza y mejora la necesidad imperiosa de participación de las personas: profesores, estudiantes y el personal de la administración. De hecho, ellos son sus actores y valedores principales. Sin ellos no tendrá sentido la necesidad de cambiar y mejorar la universidad. Para finalizar, el proceso de evaluación institucional también debe permitir a la universidad dar a conocer y establecer sus objetivos con el gobierno y la administración pública. La evaluación puede permitir planificar el marco para la calidad de la universidad. El uso correcto de la evaluación permite conocer a la administración cómo utiliza los recursos públicos la universidad y sus resultados cuantitativos y cualitativos; permite a esta última conocer sus resultados y poder programar planes de mejora de la calidad; y, finalmente, permite a los destinatarios de los servicios universitarios (alumnos, empresas, administraciones públicas, sociedad), disponer de una información adecuada del nivel docente, investigador y de gestión de las universidades.

Indicadores bibliométricos en la evaluación de la investigación.

Instrumento útil para la evaluación institucional de la investigación. Pero máximo cuidado en que se utilicen correctamente evitando simplificaciones excesivas como inútiles refinamientos metodológicos que hacen impracticable su utilización por los comités de autoevaluación. Es solo una referencia para la investigación interna de la propia institución. La lista debe actualizarse periódicamente. Un caso especial es el amplio grupo de Ciencias Sociales y las Humanidades que en conjuntos suponen más de la mitad del sistema universitario los intentos realizados para construir un sistema de referencia para la evaluación de la calidad en este campo hay que considerar a los fracasados porque la clasificación obtenida no tenía las garantías necesarias o suficientes para ser utilizada dentro del Plan Nacional de Evaluación de la calidad de las universidades al no haberse podido separar la información por campos científicos y el disponer de una sola convocatoria.

Experiencia de evaluación externa de las universidades.

Una de las características del modelo de evaluación institucional del Plan Nacional de Evaluación de la calidad de las Universidades es la combinación de la autoevaluacion con la evaluación externa por pares. Este componente ha gozado de una mayor aceptación por parte de las instituciones participantes. Cualquiera que sea el diseño de evaluación adoptado, la disposición de la unidad evaluada a invertir esfuerzo en la mejora es la cuestión fundamental para el compromiso de la institución con la evaluación y par la eficacia de este ejercicio en términos de promoción de la mejora. En este sentido, el proceso de autoevaluación plante el dilema de la asunción de responsabilidad de la unidad evaluada con respecto a s propio funcionamiento y destino. La centralidad puede facilitar las tendencias de esa responsabilidad hacia agentes externos, tanto en el Comité de Evaluación Externa como en otras instancias de la institución.

Experiencias de evaluación de instituciones universitarias : el caso de Argentina.

Se intenta reflejar el procedimiento que llevan a cabo las distintas instituciones universitarias argentinas a la hora de implementar procesos de evaluación institucional. Se enmarca dentro de un nivel del sistema de educación muy particular y se expresan sus carencias. Argentina lleva varios años inmersa en estas tareas de evaluación institucional universitaria y como una imposición legal, presentarlo ahora como una novedad es incorrecto. Lo que si resulta novedoso es el carácter con que se dota actualmente a la evaluación institucional en la Ley de Educación Superior, un perfil tecnicista e instrumental que se realiza cada seis años y que se vincula a la competencia entre las instituciones para conseguir fondos públicos. Es común para la mejora continúa de la calidad de la enseñanza universitaria.