Desarrollo de un modelo integral de evaluación para instituciones de educación superior y análisis de su impacto en la planificación y gestión institucional

El propósito de esta tesis doctoral es el desarrollo de un modelo integral de evaluación de la gestión para instituciones de educación superior (IES), fundamentado en valorar la gestión de diferentes subsistemas que la integran, así como estudiar el impacto en la planificación y gestión institucional. Este Modelo de Evaluación Institucional fue denominado Modelo Integral de Evaluación de Gestión de las IES (MIEGIES), que incorpora la gestión de la complejidad, los aspectos gerenciales, el compromiso o responsabilidad social, los recursos, además de los procesos propios universitarios con una visión integral de la gestión. Las bases conceptuales se establecen por una revisión del contexto mundial de la educación superior, pasando por un análisis sobre evaluación y calidad en entornos universitarios. La siguiente reflexión conceptual versó sobre la gestión de la complejidad, de la gestión gerencial, de la gestión de responsabilidad social universitaria, de la gestión de los recursos y de la gestión de los procesos, seguida por un aporte sobre modelaje y modelos. Para finalizar, se presenta un resumen teórico sobre el alcance de la aplicación de ecuaciones estructurales para la validación de modelos. El desarrollo del modelo conceptual, dimensiones e indicadores, fue efectuado aplicando los principios de la metodología de sistemas suaves –SSM. Para ello, se identifica la definición raíz (DR), la razón sistémica de ser del modelo, para posteriormente desarrollar sus componentes y principios conceptuales. El modelo quedó integrado por cinco subsistemas, denominados: de la Complejidad, de la Responsabilidad Social Universitaria, Gerencial, de Procesos y de Recursos. Los subsistemas se consideran como dimensiones e indicadores para el análisis y son los agentes críticos para el funcionamiento de una IES. Los aspectos referidos a lo Epistemetodológico, comenzó por identificar el enfoque epistemológico que sustenta el abordaje metodológico escogido. A continuación se identifican los elementos clásicos que se siguieron para llevar a cabo la investigación: Alcance o profundidad, población y muestra, instrumentos de recolección de información y su validación, para finalizar con la explicación procedimental para validar el modelo MIEGIES. La población considerada para el estudio empírico de validación fueron 585 personas distribuidas entre alumnos, docentes, personal administrativo y directivos de una Universidad Pública Venezolana. La muestra calculada fue de 238 individuos, número considerado representativo de la población. La aplicación de los instrumentos diseñados y validados permitió la obtención de un conjunto de datos, a partir de los cuales se validó el modelo MIEGIES. La validación del Modelo MIGEIES parte de sugerencias conceptuales para el análisis de los datos. Para ello se identificaron las variables relevantes, que pueden ser constructos o conceptos, las variables latentes que no pueden ser medidas directamente, sino que requiere seleccionar los indicadores que mejor las representan. Se aplicó la estrategia de modelación confirmatoria de los Modelos de Ecuaciones Estructurales (SEM). Para ello se parte de un análisis descriptivo de los datos, estimando la fiabilidad. A continuación se aplica un análisis factorial exploratorio y un análisis factorial confirmatorio. Para el análisis de la significancia del modelo global y el impacto en la planificación y gestión, se consideran el análisis de coeficientes de regresión y la tabla de ANOVA asociada, la cual de manera global especifica que el modelo planteado permite explicar la relación entre las variables definidas para la evaluación de la gestión de las IES. Así mismo, se encontró que este resultado de manera global explica que en la evaluación institucional tiene mucha importancia la gestión de la calidad y las finanzas. Es de especial importancia destacar el papel que desarrolla la planificación estratégica como herramienta de gestión que permite apoyar la toma de decisiones de las organizaciones en torno al quehacer actual y al camino que deben recorrer en el futuro para adecuarse a los cambios y a las demandas que les impone el entorno. El contraste estadístico de los dos modelos ajustados, el teórico y el empírico, permitió a través de técnicas estadísticas multivariables, demostrar de manera satisfactoria, la validez y aplicación del modelo propuesto en las IES. Los resultados obtenidos permiten afirmar que se pueden estimar de manera significativa los constructos que definen la evaluación de las instituciones de educación superior mediante el modelo elaborado. En el capítulo correspondiente a Conclusiones, se presenta en una de las primeras instancias, la relación conceptual propuesta entre los procesos de evaluación de la gestión institucional y de los cinco subsistemas que la integran. Posteriormente se encuentra que los modelos de ecuaciones estructurales con base en la estrategia de modelación confirmatoria es una herramienta estadística adecuada en la validación del modelo teórico, que fue el procedimiento propuesto en el marco de la investigación. En cuanto al análisis del impacto del Modelo en la Planificación y la Gestión, se concluye que ésta es una herramienta útil para cerrar el círculo de evaluación institucional. La planificación y la evaluación institucional son procesos inherentes a la filosofía de gestión. Es por ello que se recomienda su práctica como de necesario cumplimiento en todas las instancias funcionales y operativas de las Instituciones de Educación Superior. ABSTRACT The purpose of this dissertation is the development of a comprehensive model of management evaluation for higher education institutions (HEIs), based on evaluating the management of different subsystems and study the impact on planning and institutional management. This model was named Institutional Assessment Comprehensive Evaluation Model for the Management of HEI (in Spanish, MIEGIES). The model incorporates the management of complexity, management issues, commitment and social responsibility and resources in addition to the university's own processes with a comprehensive view of management. The conceptual bases are established by a review of the global context of higher education, through analysis and quality assessment in university environments. The following conceptual discussions covered the management of complexity, management practice, management of university social responsibility, resources and processes, followed by a contribution of modeling and models. Finally, a theoretical overview of the scope of application of structural equation model (SEM) validation is presented. The development of the conceptual model, dimensions and indicators was carried out applying the principles of soft systems methodology (SSM). For this, the root definition (RD), the systemic rationale of the model, to further develop their components and conceptual principles are identified. The model was composed of five subsystems, called: Complexity, University Social Responsibility, Management, Process and Resources. The subsystems are considered as dimensions and measures for analysis and are critical agents for the functioning of HEIs. In matters relating to epistemology and methodology we began to identify the approach that underpins the research: Scope, population and sample and data collection instruments. The classic elements that were followed to conduct research are identified. It ends with the procedural explanation to validate the MIEGIES model. The population considered for the empirical validation study was composed of 585 people distributed among students, faculty, staff and authorities of a public Venezuelan university. The calculated sample was 238 individuals, number considered representative of the population. The application of designed and validated instruments allowed obtaining a data set, from which the MIEGIES model was validated. The MIGEIES Model validation is initiated by the theoretical analysis of concepts. For this purpose the relevant variables that can be concepts or constructs were identified. The latent variables cannot be measured directly, but require selecting indicators that best represent them. Confirmatory modeling strategy of Structural Equation Modeling (SEM) was applied. To do this, we start from a descriptive analysis of the data, estimating reliability. An exploratory factor analysis and a confirmatory factor analysis were applied. To analyze the significance of the overall models the analysis of regression coefficients and the associated ANOVA table are considered. This comprehensively specifies that the proposed model can explain the relationship between the variables defined for evaluating the management of HEIs. It was also found that this result comprehensively explains that for institutional evaluation quality management and finance are very important. It is especially relevant to emphasize the role developed by strategic planning as a management tool that supports the decision making of organizations around their usual activities and the way they should evolve in the future in order to adapt to changes and demands imposed by the environment. The statistical test of the two fitted models, the theoretical and the empirical, enabled through multivariate statistical techniques to demonstrate satisfactorily the validity and application of the proposed model for HEIs. The results confirm that the constructs that define the evaluation of HEIs in the developed model can be estimated. In the Conclusions section the conceptual relationship between the processes of management evaluation and the five subsystems that comprise it are shown. Subsequently, it is indicated that structural equation models based on confirmatory modeling strategy is a suitable statistical tool in validating the theoretical model, which was proposed in the framework of the research procedure. The impact of the model in Planning and Management indicates that this is a useful tool to complete the institutional assessment. Planning and institutional assessment processes are inherent in management philosophy. That is why its practice is recommended as necessary compliance in all functional and operational units of HEIs.

La gestión de la sequía: contribuciones para su evaluación

La sequía afecta a todos los sectores de la sociedad y se espera que su frecuencia e intensidad aumente debido al cambio climático. Su gestión plantea importantes retos en el futuro. El enfoque de riesgo, que promueve una respuesta proactiva, se identifica como un marco de gestión apropiado que se está empezando a consolidar a nivel internacional. Sin embargo, es necesario contar con estudios sobre las características de la gestión de la sequía bajo este enfoque y sus implicaciones en la práctica. En esta tesis se evalúan diversos elementos que son relevantes para la gestión de la sequía, desde diferentes perspectivas, con especial énfasis en el componente social de la sequía. Para esta investigación se han desarrollado cinco estudios: (1) un análisis de las leyes de emergencia aprobadas durante la sequía 2005-2008 en España; (2) un estudio sobre la percepción de la sequía de los agricultores a nivel local; (3) una evaluación de las características y enfoque de gestión en seis casos de estudio a nivel europeo; (4) un análisis sistemático de los estudios de cuantificación de la vulnerabilidad a la sequía a nivel global; y (5) un análisis de los impactos de la sequía a partir en una base de datos europea. Los estudios muestran la importancia de la capacidad institucional como un factor que promueve y facilita la adopción del enfoque de riesgo. Al mismo tiempo, la falta de estudios de vulnerabilidad, el escaso conocimiento de los impactos y una escasa cultura de la evaluación post-sequía destacan como importantes limitantes para aprovechar el conocimiento que se genera en la gestión de un evento. A través del estudio de las leyes de sequía se evidencia la existencia de incoherencias entre cómo se define el problema de la sequía y las soluciones que se plantean, así como el uso de un discurso de securitización para perseguir objetivos más allá de la gestión de la sequía. El estudio de percepción permite identificar la existencia de diferentes problemas y percepciones de la sequía y muestra cómo los regantes utilizan principalmente los impactos para identificar y caracterizar la severidad de un evento, lo cual difiere de las definiciones predominantes a otros niveles de gestión. Esto evidencia la importancia de considerar la diversidad de definiciones y percepciones en la gestión, para realizar una gestión más ajustada a las necesidades de los diferentes sectores y colectivos. El análisis de la gestión de la sequía en seis casos de estudio a nivel europeo ha permitido identificar diferentes niveles de adopción del enfoque de riesgo en la práctica. El marco de análisis establecido, que se basa en seis dimensiones de análisis y 21 criterios, ha resultado ser una herramienta útil para diagnosticar los elementos que funcionan y los que es necesario mejorar en relación a la gestión del riesgo a la sequía. El análisis sistemático de los estudios de vulnerabilidad ha evidenciado la heterogeneidad en los marcos conceptuales utilizados así como debilidades en los factores de vulnerabilidad que se suelen incluir, en muchos casos derivada de la falta de datos. El trabajo sistemático de recolección de información sobre impactos de la sequía ha evidenciado la escasez de información sobre el tema a nivel europeo y la importancia de la gestión de la información. La base de datos de impactos desarrollada tiene un gran potencial como herramienta exploratoria y orientativa del tipo de impactos que produce la sequía en cada región, pero todavía presenta algunos retos respecto a su contenido, proceso de gestión y utilidad práctica. Existen importantes limitaciones vinculadas con el acceso y la disponibilidad de información y datos relevantes vinculados con la gestión de la sequía y todos sus componentes. La participación, los niveles de gestión, la perspectiva sectorial y las relaciones entre los componentes de gestión del riesgo considerados constituyen aspectos críticos que es necesario mejorar en el futuro. Así, los cinco artículos en su conjunto presentan ejemplos concretos que ayudan a conocer mejor la gestión de la sequía y que pueden resultar de utilidad para políticos, gestores y usuarios. ABSTRACT Drought affects all sectors and their frequency and intensity is expected to increase due to climate change. Drought management poses significant challenges in the future. Undertaking a drought risk management approach promotes a proactive response, and it is starting to consolidate internationally. However, it is still necessary to conduct studies on the characteristics of drought risk management and its practical implications. This thesis provides an evaluation of various relevant aspects of drought management from different perspectives and with special emphasis on the social component of droughts. For the purpose of this research a number of five studies have been carried out: (1) analysis of the emergency laws adopted during the 2005-2008 drought in Spain; (2) study of farmers perception of drought at a local level; (3) assessment of the characteristics and drought management issues in six case studies across Europe; (4) systematic analysis of drought vulnerability assessments; and (5) analysis of drought impacts from an European impacts text-based database. The results show the importance of institutional capacity as a factor that promotes and facilitates the adoption of a risk approach. In contrast, the following issues are identified as the main obstacles to take advantage of the lessons learnt: (1) lack of vulnerability studies, (2) limited knowledge about the impact and (3) limited availability of post-drought assessments Drought emergency laws evidence the existence of inconsistencies between drought problem definition and the measures proposed as solutions. Moreover, the securitization of the discourse pursue goals beyond management drought. The perception of drought by farmers helps to identify the existence of several definitions of drought. It also highlights the importance of impacts in defining and characterizing the severity of an event. However, this definition differs from the one used at other institutional and management level. As a conclusion, this remarks the importance of considering the diversity of definitions and perceptions to better tailor drought management to the needs of different sectors and stakeholders. The analysis of drought management in six case studies across Europe show different levels of risk adoption approach in practice. The analytical framework proposed is based on six dimensions and 21 criteria. This method has proven to be a useful tool in diagnosing the elements that work and those that need to be improved in relation to drought risk management. The systematic analysis of vulnerability assessment studies demonstrates the heterogeneity of the conceptual frameworks used. Driven by the lack of relevant data, the studies point out significant weaknesses of the vulnerabilities factors that are typically included The heterogeneity of the impact data collected at European level to build the European Drought Impact Reports Database (EDII) highlights the importance of information management. The database has great potential as exploratory tool and provides indicative useful information of the type of impacts that occurred in a particular region. However, it still presents some challenges regarding their content, the process of data collection and management and its usefulness. There are significant limitations associated with the access and availability of relevant information and data related to drought management and its components. The following improvement areas on critical aspects have been identified for the near future: participation, levels of drought management, sectorial perspective and in-depth assessment of the relationships between the components of drought risk management The five articles presented in this dissertation provides concrete examples of drought management evaluation that help to better understand drought management from a risk-based perspective which can be useful for policy makers, managers and users.

Evaluación de la pertinencia de maestrías en ingeniería : aplicación en la Universidad de Piura, Perú

La formación de postgrado en ingeniería es muy importante para mejorar la competitividad y lograr el desarrollo en los países. Para ello es necesaria una fuerte vinculación de la universidad con su entorno socio económico de modo que los objetivos que se plantea en sus programas formativos sean coherentes con las necesidades reales de los beneficiarios: los estudiantes, la universidad y la comunidad. Es decir, los programas deben ser pertinentes. Y en los países en vías de desarrollo este tema es aún más importante. Se necesita modelos de evaluación que midan este grado de adecuación entre los objetivos de los programas con las necesidades de los estudiantes y las partes interesadas. Sin embargo, los modelos de evaluación existentes tienen principalmente fines de acreditación y están diseñados para evaluar la eficacia, es decir si los resultados obtenidos están de acuerdo con la misión y los objetivos planteados. Su objetivo no es medir la pertinencia. Esta investigación tiene como objetivo diseñar un modelo de evaluación de la pertinencia de maestrías en ingeniería y aplicarlo a un caso concreto. Se trata de maestrías que ya están en funcionamiento y son dictadas en una universidad en un país en desarrollo. Para diseñar el modelo se define primero el concepto de pertinencia de una maestría en ingeniería haciendo una revisión bibliográfica y consultando a expertos en los temas de pertinencia de la educación superior y formación en postgrado en ingeniería. Se utiliza una definición operativa que facilita luego la identificación de factores e indicadores de evaluación. Se identifica dos tipos de pertinencia: local y global. La pertinencia global está relacionada con la inserción de la maestría en el sistema global de producción de conocimiento. La pertinencia local tiene tres dimensiones: la personal, relacionada con la satisfacción de necesidades de los estudiantes, la institucional, relacionada con las necesidades e intereses de la universidad que acoge a la maestría y la pertinencia social, ligada a la satisfacción de necesidades y demandas de la comunidad local y nacional. El modelo diseñado es aplicado en la maestría en Ingeniería Civil con mención en Ingeniería Vial de la Universidad de Piura, Perú lo que permite obtener conclusiones para su aplicación en otras maestrías. ABSTRACT Graduate engineering education is very important to improve competitiveness and achieve development in countries. It is necessary a strong linkage between university and its socio economic environment, so that programs objectives are consistent with the real needs of the students, university and community. That is to say programs must be relevant. And in developing countries this issue is very important. Evaluation models to measure the degree of adequacy between the programs objectives with the needs of students and stakeholders is needed. However, existing evaluation models have mainly the purpose of accreditation and are designed to evaluate the efficacy. They evaluate if the results are consistent with the mission and objectives. Their goal is not to measure the relevance. This work aimed to design a model for evaluating the relevance of master's degrees in engineering and applied to a specific case. They must be masters already in operation and are taught at a university in a developing country. In order to build the model, first concept of relevance of a master's degree in engineering was defined. Literature was reviewed and we consulted experts on issues of relevance of higher education and graduate engineering education. An operational definition is used to facilitate the identification of factors and evaluation indicators. Local and global: two types of relevance were identified. The global relevance is related to the inclusion of Master in the global system of knowledge production. The local relevance has three dimensions: personal, related to meeting students' needs, institutional, related to the needs and interests of university that houses the Master and social relevance, linked to the satisfaction of needs and demands of local and national community. The designed model is applied to the Master degree in Civil Engineering with a major in Traffic Engineering of Universidad de Piura, Peru which allowed to obtain conclusions for application in other masters.