Selecci??n de modelos multinivel en la investigaci??n en el campo de la Educaci??n

Resumen tomado del autor

Actualmente, el modelado lineal jer??rquico o multinivel constituye un ??rea de investigaci??n muy activa en diversas ??reas de las Ciencias Sociales, del Comportamiento y de la Salud, debido a que estas t??cnicas permiten abordar cuestiones cuyo an??lisis estad??stico resulta problem??tico con los modelos tradicionales. En el ??mbito de la Psicolog??a de la Educaci??n, este enfoque anal??tico permite la construcci??n emp??rica de modelos ajustados a los datos, que hacen posible describir, explicar, predecir y poner a prueba hip??tesis acerca de la relaci??n entre los estudiantes y el medio escolar en el que operan. Esta circunstancia enfrenta al investigador al reto de considerar la estructura jer??rquica, multinivel o anidada en que, bien de modo natural o bien como consecuencia del dise??o de estudio, est??n organizados los datos, y a medir variables en los distintos niveles de agregaci??n de las unidades de estudio (Vallejo, et al., 2008). As?? las cosas, y en vista de la necesidad de obtener modelos con gran capacidad de descripci??n, explicaci??n y predicci??n, la investigaci??n metodol??gica se centra ahora en el desarrollo de m??todos de estimaci??n y herramientas de evaluaci??n para la selecci??n de los modelos m??s parsimoniosos adecuados a cada situaci??n (Ojeda & Velasco, 2012). Realizar la selecci??n del modelo ??ptimo resulta decisivo para interpretar adecuadamente los datos. As?? pues, es crucial para un investigador en el campo educativo resolver las siguientes cuestiones: ??Cu??l es el mejor modelo de todas las alternativas formuladas? ??Tiene sentido seleccionar un modelo en funci??n del uso posterior que se vaya a dar al mismo?, y es que cuando para una misma evidencia muestral existen m??ltiples modelos candidatos, surge la problem??tica de la selecci??n (Vallejo et al., 2010, 2011b). Recientemente se han realizado numerosas investigaciones cuyo objetivo principal ha sido localizar el mejor modelo multinivel bajo distintos escenarios. Por ejemplo, los trabajos de Gurka (2006) y Wang y Schaalje (2009) se centraron en seleccionar el mejor modelo de medias, dada una particular estructura de varianzas y covarianzas; los estudios de Ferron, Dailey y Yi (2002), y Vallejo, Ato y Vald??s (2008) mostraron la capacidad de seleccionar el modelo correcto de covarianza cuando la estructura de medias del modelo era conocida; y la capacidad de seleccionar simult??neamente la correcta estructura de medias y de covarianza en los modelos, tambi??n fue examinada (Gurka, 2006). Sin embargo, a pesar de la gran variedad de estudios existentes basados en la estrategia de comparaci??n de modelos en distintos escenarios y con diferentes enfoques para evaluar la bondad de ajuste del modelo final a los datos, actualmente no hay un consenso sobre lo que constituye la herramienta m??s adecuada para elegir el mejor modelo multinivel. No obstante, en t??rminos generales se puede expresar que todas las investigaciones convergen en que, independientemente del criterio de selecci??n utilizado, la elecci??n del modelo ??ptimo prospera cuando el tama??o de muestra aumenta en los dise??os transversales, cuando aumentan el tama??o de muestra y el n??mero de medidas repetidas en los dise??os longitudinales, y en ambos escenarios, cuando la complejidad del modelo disminuye. Por todo ello es necesario el estudio pormenorizado de la fase de ajuste del proceso de modelado estad??stico multinivel y de los criterios existentes para dicho ajuste. En este sentido, el objetivo central de esta Tesis es evaluar el desempe??o de una amplia variedad de estrategias de bondad de ajuste para elegir el modelo que mejor se aproxima al verdadero proceso generador de los datos en distintas condiciones de estudio. A tal fin se llevan a cabo 4 investigaciones. En tres de ellas se pone a prueba el rendimiento de diversos Criterios de Informaci??n implementados en el m??dulo PROC MIXED del programa SAS. Dos de estas investigaciones yacen sobre dise??os longitudinales y dos sobre dise??os transversales. Brevemente, y en ese mismo orden, en el primer estudio se compara el desempe??o del test de ajuste condicional LRT y varias versiones de los Criterios de Informaci??n (AIC, AICC, BIC, CAIC, y HQIC) para seleccionar estructuras de medias y de covarianzas anidadas, asumiendo conocido el verdadero proceso generador de los datos. En el segundo trabajo, se examina el rendimiento de los Criterios de Informaci??n (AIC, AICC, BIC, CAIC, y HQIC) para seleccionar simult??neamente estructuras de medias y de covarianzas no anidadas, cuando se incumplen los supuestos distribucionales del modelo y existe un alto porcentaje de datos faltantes en los dise??os estudiados. La tercera investigaci??n consiste en encontrar la mejor estrategia (AIC, AICC, CAIC, HQIC, CAIC -AIC condicional- y DIC -Criterio de Informaci??n de la Desvianza Bayesiano) para seleccionar el modelo multinivel que mejor se aproxima al proceso generador de los datos en un escenario donde se manipulan el n??mero de grupos, el tama??o de los grupos y la correlaci??n intra-clase, entre otras variables. Por ??ltimo, en el cuarto trabajo se realiza un estudio cross sectional expost facto en el Campo de la Educaci??n, cuyos resultados son analizados desde la propia perspectiva multinivel. Los resultados encontrados, publicados en 4 art??culos cient??ficos, se resumen de la manera que a continuaci??n sigue. En el primer art??culo (Vallejo, Fern??ndez, Livacic-Rojas, & Tuero-Herrero, 2010), se pone de manifiesto que el desempe??o del criterio de ajuste condicional LRT basado en el estimador de m??xima verosimilitud completa MV es superior al resto de criterios examinados. Los Criterios de Informaci??n Eficientes (AIC y AICC) funcionan mejor cuando los patrones de covarianza estudiados son complejos y peor cuando son simples. Al contrario sucede para los Criterios de Informaci??n Consistentes (BIC, CAIC y HQIC), que rinden mejor cuando los patrones de covarianza son simples y peor cuando son complejos. En el segundo art??culo (Vallejo, Fern??ndez, Livacic-Rojas, & Tuero-Herrero, 2011b), se corrobora lo encontrado en el estudio previo, esto es, que para seleccionar el modelo correcto los Criterios de Informaci??n Eficientes se comportan mejor cuando los patrones de covarianza utilizados para generar los datos son m??s complejos y viceversa para los Criterios de Informaci??n Consistentes. A su vez, el desempe??o de ??stos ??ltimos (BIC, CAIC y HQIC) es mayor cuando se basan en el n??mero total de individuos (nivel 2) que en el n??mero total de observaciones (nivel 1). Los resultados tambi??n indican que dado un conjunto de datos con valores perdidos, los Criterios de Informaci??n Eficientes (AIC y AICC) se ven m??s afectados que los Criterios de Informaci??n Consistentes a la falta de normalidad. En el tercer art??culo (Vallejo, Tuero-Herrero, N????ez, & Ros??rio, en prensa), ninguno de los criterios de selecci??n (marginales-condicionales y cl??sicos-bayesianos) se comporta adecuadamente en todas las condiciones ni es consistentemente mejor que los otros. Con respecto al tama??o de muestra a la hora de seleccionar el mejor modelo, es m??s importante un gran n??mero de grupos (NG) que un gran tama??o de grupos (TG) (sugiri??ndose NG 50 y N/NG 20, siendo N NG TG). La correlaci??n intra-clase afecta al rendimiento de los criterios de selecci??n, pero la magnitud de esa influencia es relativamente menor en comparaci??n con los valores de los par??metros y con la correlaci??n de los efectos aleatorios. Al igual que en las investigaciones anteriores, los Criterios de Informaci??n Eficientes funcionan mejor para los efectos aleatorios correlacionados (patrones de covarianza m??s complejos) y los Criterios de Informaci??n Consistentes para los efectos no correlacionados (patrones de covarianza m??s simples). Globalmente, el criterio que tiene un mejor desempe??o es el AIC condicional (CAIC) seguido del AIC marginal (AIC). El cuarto art??culo (N????ez, Vallejo, Ros??rio, Tuero-Herrero, & Valle, en prensa), constituye una aplicaci??n de an??lisis multinivel a un estudio de campo. Los resultados ponen en relieve la importancia de la interacci??n entre c??mo ense??an los profesores (variable del nivel profesor, nivel 2), c??mo aprenden los estudiantes, y el rendimiento acad??mico obtenido (variables del nivel estudiante, nivel 1). Tambi??n se constata que la mayor parte de la variabilidad en el rendimiento de la asignatura estudiada (Biolog??a) est?? asociada con variables tomadas a nivel estudiante (el 85,6%), mientras que las variables tomadas a nivel de clase ??nicamente aportan un 14,4% de la misma. Uno de los aportes m??s relevantes de este ??ltimo trabajo es la aplicaci??n del conocimiento que ofrecen los Modelos Multinivel a la evaluaci??n de los estudios en el Campo de la Educaci??n. Se aporta conocimiento de esta t??cnica de an??lisis en dos sentidos. De una parte, se conceptualiza la t??cnica describi??ndose de manera rigurosa y detallada. Y de otra, se explica el proceso de modelado estad??stico multinivel de forma precisa. Ambas partes se revelan como una contribuci??n pedag??gica indispensable para las exigencias actuales en la investigaci??n educativa. Finalmente los resultados obtenidos en estos estudios se discuten plante??ndose nuevas l??neas de trabajo que no se encuentran muy alejadas de las investigaciones que aqu?? se presentan.