Modelo para la evaluación externa de los centros escolares de EGB.

Elaboración y contrastación empírica de un modelo causal global de evaluación de las escuelas. Desarrollo de una metodología que integre los enfoques cuantitativo y cualitativo. Elaboración de procedimientos e instrumentos de medida adecuados a los objetivos señalados anteriormente. Elaboración de criterios o indicadores de eficacia. 31 centros docentes de los 350 de Asturias para la contrastación empírica del modelo propuesto. Se incluyen los procedimientos seguidos en la construcción y validación de las distintas escalas y cuestionarios utilizados en la medición de las variables. Una vez explorados los datos, se elabora el modelo definitivo y se presentan los datos del análisis informático. Finalizando con la evaluación del modelo por medio de distintos índices. Las variables se agrupan en exógenas o independientes (tipo de centro, características de los alumnos y de los profesores, recursos materiales y humanos); endógenas o dependientes de proceso (evaluación del Consejo Escolar, equipo directivo, equipo de profesores, clima institucional, procesos de las aulas) y de producto o resultados (rendimiento académico, satisfacción de los alumnos, de las familias, número de alumnos con problemas de aprendizaje). Modelo causal. Pruebas de fiabilidad por el procedimiento de mitades equivalentes mediante los coeficientes de Rulon, Guttman, Spearman-Brown y Kuder-Richardson. Para la constrastación empírica se ha utilizado la técnica del Path Analysis. Los cuestionarios de las pruebas utilizadas se encuentran en el anexo I y se centran en los siguientes aspectos: situación socio-económica de las familias, edificio escolar y dotación, personal docente, consejo escolar, equipo directivo, claustro de profesores, departamentos, equipos de ciclo, equipos de nivel, clima del centro, procesos del aula, alumnos y padres. También se han utilizado tablas, esquemas. Exploración de los datos mediente el sistema informático BMDP-2R. La contrastación empírica del modelo mediante el programa informático LISREL. Para la reducción y siplificación de variables se utilizó el programa informático BMDP1R y 2R. Para el análisis factorial el BMDP-4M. El factor con más influencia en la eficacia de los centros (rendimiento de los alumnos) es la dotación del centro así como el funcionamiento del equipo directivo y del Consejo Escolar. El grado de satisfacción de los alumnos con la institución es menor en los alumnos de mayor status socioeconómico e inverso al de sus familias. La estabilidad de los profesores en los centros influye positivamente en el funcionamiento del equipo directivo, equipo de profesores, en su trabajo y negativamente en el nivel de satisfacción de los alumnos. El clima que se genera en el centro influye positivamente en el trabajo de los profesores en las aulas y a través de éste en el rendimiento de los alumnos. En el nivel de satisfacción de los alumnos con la institución influyen el liderazgo del equipo directivo, el funcionamiento en equipo de los profesores y la calidad de los procesos que se desarrollan en las aulas. El nivel de satisfacción de las familias está condicionado por el tipo de centro, los recursos y el funcionamiento del equipo directivo. La eficacia de los centros es el resultado de la acción de una serie de factores de dimensiones complejas, más que de una influencia determinante de algunos de ellos (los recursos del centro, el origen socioeconómico de los alumnos, la calidad de los procesos desarrollados en las aulas y las que ejercen las estructuras organizativas y el clima). El modelo presentado se considera como una herramienta útil en la evaluación de los centros. Se señalan posibles líneas de investigación tales como estudiar los mecanismos, a través de los cuales, estas estructuras organizativas sean un marco efectivo que ayude a los profesores a cambiar y mejorar sus prácticas en el aula.

Pautas de evaluación de la eficacia de los centros docentes.

Proporcionar a los evaluadores una serie de procedimientos, instrumentos y técnicas que les permitan evaluar los centros docentes, diagnosticando tanto los puntos débiles como aquellos que alcanzan un nivel más satisfactorio, debido a que éstos se consideran como los principales factores condicionantes de la eficacia institucional. Cómo medir la eficacia de los centros docentes a través de una serie de escalas y cuestionarios. Descripción de cada una de las escalas, metodología de elaboración de las mismas -cómo construirlas y validarlas- y normas de aplicación y corrección. Factores que se evalúan: nivel socio-económico, edificio y dotación, personal docente, modelo organizativo, clima institucional, calidad de los procesos que se desarrollan en las aulas y nivel de satisfacción de familias y alumnos con el centro. Bibliografía. Definición de factores, determinación de las dimensiones constitutivas de cada factor, elaboración de tablas de especificaciones para cada factor, determinación de pesos relativos de cada dimensión, muestreo de cuestiones, determinación de los ítems necesarios, valoración del número y redacción de ítems, calificación de cada ítem en categorías según utilidad, atribución a cada ítem de un valor escalar, selección de los ítems más pertinentes, aplicación piloto y redacción definitiva de los ítems. La fiabilidad o consistencia interna se calculó por el procedimiento de mitades equivalentes mediante los coeficientes de Rulon, Guttman, Spearman-Brown y Kuder-Richardson. Presenta 13 escalas y cuestionarios referidos a: situación socio-económica de las familias, edificio escolar y dotación, personal docente, escala de evaluación del funcionamiento del Consejo Escolar, escala de evaluación del funcionamiento del equipo directivo, escala de evaluación del funcionamiento del Claustro, escala de evaluación del Departamento, escala de evaluación de los equipos de ciclo, escala de evaluación de los equipos de nivel, cuestionario de evaluación del clima del centro, escala de evaluación de los procesos del aula, cuestionario a alumnos y cuestionario a familias. También presenta guiones para entrevistar a: padres, profesores y alumnos del Consejo Escolar, profesores sobre el clima del centro, padres y alumnos sobre su grado de satisfacción con el centro. Las pautas de evaluación de la eficacia de los centros docentes permiten la evaluación del centro como totalidad, ofreciendo una visión globalizadora de los principales factores del centro y/o específica de dichos factores.

Sistema de evaluación de programas de integración y rehabilitación (SEPIR).

Buscar una fórmula de valoración-planificación de programas sociales que analice la habilitación individual y las competencias sociolaborales en relación con las estructuras de formación y empleo proyectados y ofertados por los servicios y agentes sociales. Servir a especialistas en orientación y formación, a técnicos de empleo, planificadores, gestores, etc. Para analizar la conjunción formación empleo de personas discapacitadas con la planificación apropiada y recursos y reducir la discrepancia entre habilidades sociolaborales y competencias requeridas. Propuesta SEPIR para valorar los logros, recursos y acciones que un centro o institución consigue en función de una dinámica de orientación y formación profesional previa o de un esfuerzo de consecución de adaptación y mantenimiento de un puesto de trabajo teniendo en cuenta las acciones de gestión y los niveles de impacto sociocomunitario. SEPIR se fundamenta en líneas inicialmente dicotómicas de evaluación que adoptan un enfoque integrador. Se analizan datos y características de una realidad social cuantificables en función de la expresión de índices significativos. Otros datos requieren el uso de técnicas subjetivas y procedimientos cualitativos. La metodología evaluadora es dinámica por la relación entre evaluadores y responsables del programa, por la secuencia temporal y por la relación que implica en los programas de intervención. El sistema de evaluación se concibe desde una actuación externa pero estructurado para que en una primera fase se realice a nivel interno. El sistema establece la evaluación de todos los segmentos del proyecto dando lugar a 4 tipos de evaluación: de la definición, del diseño, de la ejecución y de los efectos. Instrumentos: evaluación de la orientación y formación profesional, fomento, adaptación e integración laboral, integración comunitaria y gestión de proyectos. Validez de contenido y de constructo mediante el sistema de jueces. La segunda validación es de tipo operativo para establecer la bondad de ajuste entre el modelo y la realidad. La construcción de los items en los instrumentos está determinada por el objeto evaluado y por los objetivos a cumplir en cada fase. Como resultado del proceso teórico de investigación sobre la situación de los programas, servicios y actividades de integración y rehabilitación sociolaboral, se incluyen en SEPIR un conjunto de estrategias para su utilización, difusión y un mejor acercamiento a los usuarios compuesto de unas guías con estructura en permanente renovación y un manual que explica y orienta el trabajo del evaluador para que realice su acción segun le señala la guía. SEPIR produce cambios en la dinámica de la acción social pues introduce un modelo de planificación paralelo al de evaluación de manera que ambas funciones se complementen.

Programa de lectura : experimentación y evaluación. Curso 1986-87.

Averiguar el estado de la lectura en alumnos de ciclo medio. Intentar mejorar el proceso lectoescritor a través de una programación sistemática a lo largo de un curso académico. Grupo experimental: 92 alumnos de tercero de EGB de tres colegios asturianos. Grupo control: 103 alumnos de tercero de EGB de otros tres colegios asturianos. En primer lugar se realizó una valoración del nivel lectoescritor de los alumnos de los grupos control y experimental. Aplicación de un programa de lectura al grupo experimental durante 25 semanas. Evaluación de los resultados obtenidos en las semanas 0, 15 y 25. Variables consideradas en la investigación: lectura silenciosa - velocidad y comprensión y lectura oral -velocidad, entonación, ritmo positivo, ritmo negativo, errores y repeticiones-. Libros de lectura. BMDP2d: estadísticos de concentración, dispersión y porcentajes. BMDP7m: análisis discriminantes para determinar diferencias y semejanzas entre grupos y asignar casos a grupos. Análisis discriminante grupo experimental-grupo control: la variable ritmo positivo es la que tiene un mayor poder discriminante y con respecto a ella, los grupos son homogéneos; la segunda variable con poder discriminante entre los dos grupos es la velocidad silenciosa, la tercera es el número de errores y la cuarta la entonación; de los 103 alumnos del grupo control 64 tienen características propias del grupo experimental y 38 del grupo control y de los 92 del grupo experimental, 65 tienen características propias del grupo control y 27 del grupo experimental. Análisis discriminante entre sexos: sólo con respecto a la variable entonación hay diferencias significativas, siendo las puntuaciones más altas para las niñas. Análisis discriminante entre colegios: la única variable con poder discriminante es el ritmo positivo. Análisis individualizado de las variables: los rendimientos del grupo experimental son mayores que los del grupo control en todas las variables analizadas. Consideraciones: en la escuela no se da a la lectura el tratamiento que merece, ya que la lectura necesita de un programa y por consiguiente de una fórmulacion expresa de objetivos a conseguir en cada momento; otro aspecto a resaltar lo constituye la necesidad de diferenciar variables dentro de la lectura como ritmo, lectura silenciosa, errores y entonación; la selección de las lecturas tiene una gran importancia para motivar a los alumnos y para conseguir objetivos concretos; se habrá de proceder de tal forma que el alumno conozca en cada momento su situación en el proceso lector.

Instrumentos de evaluación de aprendizajes.

Proporcionar a los profesores interesados pautas acerca de la confección y aplicación de los instrumentos de evaluación de aprendizajes más frecuentes en un contexto académico. Descripción de los distintos instrumentos de evaluación de aprendizajes. Se toma como criterio de clasificación la forma de las preguntas del profesor, la cual condiciona la libertad que tiene el alumno para responder; según ésto, se describirán las siguientes clases de instrumentos de evaluación: pruebas objetivas, pruebas libres y pruebas diagnósticas. Con respecto a las pruebas objetivas, se habla de su artificialidad, selección, construcción, el efecto del azar y su coste y se analizan diversos formatos: verdadero/falso, múltiple elección, verdadero/falso múltiples, respuestas combinadas, emparejamiento, clasificación, respuesta doble, respuesta limitada y problemas científico-matemáticos. Con respecto a las pruebas libres, se analiza el método de construcción, corrección y aplicación de las pruebas de respuesta abierta, pruebas mixtas, examen oral, prueba de práctica real, proyecto y simulación. Dentro de las pruebas diagnóstico, se analizan los métodos de observación espontánea y estructurada, la entrevista y el cuestionario. Al margen de los diferentes tipos de instrumentos de evaluación, se describen las propiedades psicométricas que deben reunir con respecto a su fiabilidad, validez, dificultad y discriminación, pertinencia, equilibrio, representatividad, equidad, claridad, objetividad, practicabilidad, eficiencia, tiempo, extensión y especificidad. El análisis de los exámenes corrientemente utilizados demuestra que, a veces, las preguntas adolecen de muchos defectos como pueden ser de futilidad, ambigüedad y complejidad. Para evitar éstos y otros posibles defectos es esencial que quien construya una prueba, la someta a un análisis crítico y siga una serie de instrucciones.

Perspectivas en la evaluación del Sistema Educativo.

Difundir las aportaciones que el profesorado de la Universidad de Oviedo realiza en el ciclo de Doctorado. Recoger, concretamente, las contribuciones de varios profesores del Departamento de Ciencias de la Educación que participaron en el programa de Doctorado 'Evaluación del Sistema Educativo'. Cuatro niveles diferentes de aplicación del constructo evaluación al Sistema Educativo. Se describen las características de un modelo de evaluación basado en la perspectiva etnográfica. Se expone una metodología de análisis y evaluación de las organizaciones, la auditoría de la cultura organizacional. Se describe la investigación acción como una vía clara y eficaz de evaluación de la tarea docente. Finalmente, se plantean diversos problemas teórico-prácticos relacionados con el proceso de evaluación en el área de Didáctica de la Lengua. 1) Evaluación etnográfica de la Educación: se realiza un doble análisis de la Etnografía como opción epistemológica y como opción metodológica, describiendo algunas de sus técnicas más utilizadas y sus criterios de credibilidad. Se ofrecen también diversas orientaciones prácticas para guiar la elección y el desarrollo adecuado de un diseño de evaluación etnográfica de la Educación. 2) Auditoría de la cultura organizacional: se analizan aspectos gnoseológicos para aclarar el constructo cultura organizacional así como las relaciones entre una auditoría y una evaluación de la organización. Se analizan, así mismo, métodos, técnicas y herramientas utilizables. 3) Investigación acción como vía clara y eficaz de la tarea docente: se analizan las conclusiones arrojadas por la evaluación de las innovaciones promovidas a gran escala, el movimiento de escuelas eficaces y los programas de evaluación de centros. Todas ellas, unidas a la reflexión hecha a lo largo de las dos últimas décadas sobre la implicación de los profesores en las mejoras educativas, coinciden en señalar los tres elementos que se consideran imprescindibles por la investigación acción de cara a conocer la realidad educativa y propugnar la mejora necesaria en cada momento: no ser ambicioso, tener el control total de la situación y no hacer nada sin los profesores. 4) La evaluación en el área de Didáctica de la Lengua: dentro de un planteamiento de evaluación continua y formativa se sugieren diferentes procedimientos e instrumentos dirigidos a obtener información útil sobre los procesos de aprendizaje lingüístico.

Evaluación de actividades de formación.

1) Estudiar las principales características personales y profesionales de los profesores. 2) Conocer la valoración que estos docentes hacen de los diferentes aspectos de los cursos y cursillos realizados. 3) Valorar la incidencia de las actividades de formación realizadas en la práctica docente. 4) Incorporar al diseño de evaluación de las actividades del CEP de Oviedo los análisis realizados. 5) Proporcionar a los órganos personales y colegiados del CEP elementos de análisis que colaboren en la evaluación de los planes de actuación y en el rediseño de los programas de formación. 497 profesores que al finalizar sus actividades de formación habían respondido al cuestionario. Las actividades evaluadas, en un total de 27, se realizaron en el curso 1986-87. Se elabora un diseño de evaluación de la actividad del CEP de Oviedo. Las variables analizadas han sido: variables personales y profesionales; variables de la valoración de la actividad de formación (información, materiales e infraestructura, metodología, temática y tiempo, monitor y organización y valoración personal); variables de aplicación a la práctica docente y de profundización en las actividades realizadas (aspectos de la práctica docente que pueden mejorarse como consecuencia de la actividad, aplicaciones prácticas y profundización en la temática tratada). 'Cuestionario sobre actividades de perfeccionamiento' de González Granda, 1986. 1) Características personales y profesionales: en las actividades del CEP de Oviedo durante su primer curso de funcionamiento han participado profesores pertenecientes a todos los grupos de edad, experiencia docente, titulación, especialidad y situación administrativa. Se ha logrado cumplir el objetivo propuesto de llegar al máximo número posible de profesores y a los distintos grupos. 2) Valoración de las actividades: en general la información recibida sobre las actividades resultó ser satisfactoria en lo que se refiere a profesorado, programa, calendario y horario; los materiales empleados han sido suficientes en cantidad y calidad; la metodología utilizada se mantiene en equilibrio entre la teoría y la práctica; la temática tratada parece la adecuada; la utilización de recursos se considera buena; la asistencia a las actividades de formación ha sido satisfactoria. 3) Incidencia en la práctica docente: en general, se ha obtenido 'alguna mejora'. Los responsables de elaborar y aprobar los planes de actuación en el CEP de Oviedo deberían tener una información puntual de la participación de los distintos grupos de profesorado, así como velar porque esta participación se mantenga y mejore en los aspectos que se considere necesario. Los objetivos de incidencia en la práctica docente deben estar claramente definidos.

Evaluación institucional de actividades regladas de formación.

1) Estudiar las principales características personales y profesionales de los profesores. 2) Conocer la valoración que éstos hacen de los diferentes aspectos de los cursos y cursillos realizados. 3) Valorar la incidencia que las actividades de formación realizadas tienen en la práctica docente de los profesores asistentes a ellas. 4) Incorporar al diseño de evaluación de actividades del CEP de Oviedo los análisis realizados. 5) Proporcionar a los órganos personales y colegiados del CEP elementos de análisis que colaboren en la evaluación de los planes de actuación y en el diseño de los programas de formación. 655 profesores que al finalizar sus actividades de formación, respondieron al cuestionario. Las actividades evaluadas, en un total de 31, habían sido realizadas durante el curso 1988-89. Las variables analizadas han sido: variables personales y profesionales; variables de valoración de la actividad de formación realizada (información, materiales e infraestructura, metodología, temática y tiempo, monitores y organización y valoración personal); variables de aplicación a la práctica docente (aspectos de la práctica docente que pueden mejorarse como consecuencia de la actividad, aplicaciones prácticas y profundización en la temática tratada). 'Cuestionario sobre actividades de perfeccionamiento' de González Granda, 1986. 1) Variables personales y profesionales: predominio de mujeres; participación de profesores pertenecientes a todos los tramos de edad; el grupo más numeroso lleva ejerciendo su profesión entre 11 y 20 años; la mayoría eran profesores de EGB 2) Variables de valoración de la actividad: la mayoría consideró adecuada la información recibida sobre profesorado, programa, calendario y horario; los locales e infraestructura se consideraron buenos; los materiales fueron suficientes en cantidad y calidad; la metodología se consideró en equilibrio entre teoría y práctica; la utilización de recursos y materiales mereció una mejor calificación para los profesores de la enseñanza privada que para los de la pública; se consideró como buena la organización en general. 3) Incidencia en la propia práctica docente: la mejora más significativa hace referencia al bloque temático en el que estaban recogidos el 'conocimiento de la materia' y todo lo referente a la actuación docente; los aspectos referidos a la evaluación o a las actividades de recuperación han tenido muy poca incidencia; son los profesores de EGB los que han experimentado una mayor mejora en los aspectos relacionados con la práctica docente; la mayoría de los encuestados manifiestan la necesidad de continuar profundizando en la temática iniciada.

Evaluación del área de Música del Centro de Profesores de Oviedo en sus tres primeros años de funcionamiento.

1) Estudiar las principales características personales y profesionales de los profesores. 2) Conocer la valoración que estos docentes hacen de los diferentes aspectos de los cursos realizados. 3) Valorar la incidencia que las actividades de formación realizadas tienen en la práctica docente de los profesores asistentes a ellas. 4) Incorporar al diseño de evaluación de actividades del CEP de Oviedo los análisis realizados. 5) Proporcionar a los órganos personales y colegiados del CEP elementos de análisis que colaboren en la evaluación de los planes de actuación y en el rediseño de los programas de formación. 95 profesores que al finalizar sus actividades de formación respondieron al cuestionario, siempre de forma voluntaria y anónima. Se evalúan, en total, seis actividades de formación realizadas a lo largo de los cursos académicos 1986/87, 1987/88 y 1988/89, a razón de dos cursos por año. Variables analizadas: personales, profesionales, de valoración de la actividad de formación, de aplicación a la práctica docente y de profundización en las actividades realizadas. 'Cuestionario sobre actividades de perfeccionamiento' de González Granda, 1986. 1) Datos personales y profesionales: los profesores que participaron en estos cursos son predominantemente mujeres menores de 45 años, diplomadas universitarias, con más de tres años de experiencia docente en EGB, en enseñanza pública. 2) Valoración de la actividad realizada: la mayoría recibieron la información sobre el curso en su centro de trabajo; la información respecto al programa, calendario y horario se considera adecuada; la infraestructura y locales se consideran buenos; la cantidad y calidad de los materiales se valoró como suficiente; la metodología se consideró más bien práctica; hubo una buena utilización de los recursos y materiales didácticos; la monitora recibió una calificación de 'excelente'. 3) Valoración de incidencia en la propia práctica docente de la actividad realizada: el mayor grado de incidencia se ha obtenido en cuanto a la motivación de los alumnos, la confección de recursos didácticos, la actuación didáctica, la organización del trabajo en el aula, y el uso efectivo de diferentes métodos; el menor nivel de incidencia se observa en las relaciones con los compañeros y directivos, el interés de los padres en el aprendizaje de sus hijos y el funcionamiento de los equipos de profesores.

Evaluación del programa modular de autoaprendizaje Cómo buscar empleo.

1. Fundamentar el programa de orientación profesional 'Cómo buscar un empleo' desde un punto de vista teórico-científico. 2. Evaluarlo como instrumento potente capaz de dotar al individuo de las competencias implicadas en la tarea de buscar empleo.. 50 personas inscritas en la oficina de empleo, divididas en dos grupos: grupo 1 (aprendizaje grupal) y grupo 2 (autoaprendizaje) compuestos por 16 y 34 sujetos respectivamente.. Se analiza un primer plan piloto de intervención formativa con dos grupos sometidos cada uno a un tipo de tratamiento y se obtienen unos resultados. Se trata de comprobar si hay cambios y si éstos están en relación con las hipótesis de partida. Se elabora un cuestionario de conocimientos en la búsqueda de empleo y se aplica a todos los sujetos de los dos grupos antes y después de la intervención.. Diferencial semántico de Osgood para analizar la actitud hacia el programa aplicado. Cuestionario de conocimientos en la búsqueda de empleo.. Análisis del rendimiento: análisis de equivalencia entre ambos grupos en el pretest, análisis de diferencias entre ambos grupos en el posttest, análisis de la ganancia media pretest-posttest en el grupo 1 y 2. Análisis de actitudes: contraste de medias.. Análisis del rendimiento: no existen diferencias significativas en la variable dependiente en el pretest entre ambos grupos. Existen diferencias en la variable dependiente en el pretest entre ambos grupos a favor del grupo tratado con aprendizaje formal. Tanto los sujetos del grupo 1 como los del grupo 2 son significativamente mejores en la variable dependiente en el posttest que el pretest. Análisis de las actitudes: existen diferencias significativas en las escalas práctico-teórico, pasivo-activo, útil-inútil, malo-bueno, estático-dinámico y oportuno-inoportuno en cuanto a actitudes hacia el programa entre los dos grupos a favor del grupo 1 que puntúa más alto en estas escalas.. 1. El programa parece adaptado al nivel de estudios de la muestra. 2. Todo el material es bien recibido. 3. La aplicación del programa produce una mejora, sobre todo en conocimientos. 4. Los resultados obtenidos en el grupo 1 tratado con aprendizaje grupal resultan ser mejores, tanto en conocimientos como en actitudes, hacia el programa que los obtenidos en el grupo 2 tratado con autoaprendizaje. En posteriores estudios se procurará dar continuidad y profundización al presente trabajo en los aspectos siguientes: ver si las conclusiones se corroboran en otros grupos; hacer un seguimiento de los sujetos diana para ver si las modificaciones derivadas del tratamiento tienen una relación demostrable con el paso del tiempo; determinar modificaciones o tratamientos diferenciales a introducir en algunos módulos del programa; comprobar qué competencias se logran más y cuáles menos con el programa; tratar de probar nuevas metodologías, tales como los sistemas interactivos..