Quantitative Determination of the Relationship between Internal Validity and Bias in Software Engineering Experiments: Consequences for Systematic Literature Reviews

Quality assessment is one of the activities performed as part of systematic literature reviews. It is commonly accepted that a good quality experiment is bias free. Bias is considered to be related to internal validity (e.g., how adequately the experiment is planned, executed and analysed). Quality assessment is usually conducted using checklists and quality scales. It has not yet been proven;however, that quality is related to experimental bias. Aim: Identify whether there is a relationship between internal validity and bias in software engineering experiments. Method: We built a quality scale to determine the quality of the studies, which we applied to 28 experiments included in two systematic literature reviews. We proposed an objective indicator of experimental bias, which we applied to the same 28 experiments. Finally, we analysed the correlations between the quality scores and the proposed measure of bias. Results: We failed to find a relationship between the global quality score (resulting from the quality scale) and bias; however, we did identify interesting correlations between bias and some particular aspects of internal validity measured by the instrument. Conclusions: There is an empirically provable relationship between internal validity and bias. It is feasible to apply quality assessment in systematic literature reviews, subject to limits on the internal validity aspects for consideration.

E-MIS validity applied to TELMA enhanced learning environment

Enhanced learning environments are arising with great success within the field of cognitive skills training in minimally invasive surgery (MIS) because they provides multiple benefits since they avoid time, spatial and cost constraints. TELMA [1,2] is a new technology enhanced learning platform that promotes collaborative and ubiquitous training of surgeons. This platform is based on four main modules: an authoring tool, a learning content and knowledge management system, an evaluation module and a professional network. TELMA has been designed and developed focused on the user; therefore it is necessary to carry out a user validation as final stage of the development. For this purpose, e-MIS validity [3] has been defined. This validation includes usability, contents and functionality validities both for the development and production stages of any e-Learning web platform. Using e-MIS validity, the e-Learning is fully validated since it includes subjective and objective metrics. The purpose of this study is to specify and apply a set of objective and subjective metrics using e-MIS validity to test usability, contents and functionality of TELMA environment within the development stage.

Validity and reliability of AMPET Greek versión: a first examination of learning motivation in Greek PE settings

Validity and reliability of AMPET Greek versión: a first examination of learning motivation in Greek PE settings

Desarrollo de un modelo integral de evaluación para instituciones de educación superior y análisis de su impacto en la planificación y gestión institucional

El propósito de esta tesis doctoral es el desarrollo de un modelo integral de evaluación de la gestión para instituciones de educación superior (IES), fundamentado en valorar la gestión de diferentes subsistemas que la integran, así como estudiar el impacto en la planificación y gestión institucional. Este Modelo de Evaluación Institucional fue denominado Modelo Integral de Evaluación de Gestión de las IES (MIEGIES), que incorpora la gestión de la complejidad, los aspectos gerenciales, el compromiso o responsabilidad social, los recursos, además de los procesos propios universitarios con una visión integral de la gestión. Las bases conceptuales se establecen por una revisión del contexto mundial de la educación superior, pasando por un análisis sobre evaluación y calidad en entornos universitarios. La siguiente reflexión conceptual versó sobre la gestión de la complejidad, de la gestión gerencial, de la gestión de responsabilidad social universitaria, de la gestión de los recursos y de la gestión de los procesos, seguida por un aporte sobre modelaje y modelos. Para finalizar, se presenta un resumen teórico sobre el alcance de la aplicación de ecuaciones estructurales para la validación de modelos. El desarrollo del modelo conceptual, dimensiones e indicadores, fue efectuado aplicando los principios de la metodología de sistemas suaves –SSM. Para ello, se identifica la definición raíz (DR), la razón sistémica de ser del modelo, para posteriormente desarrollar sus componentes y principios conceptuales. El modelo quedó integrado por cinco subsistemas, denominados: de la Complejidad, de la Responsabilidad Social Universitaria, Gerencial, de Procesos y de Recursos. Los subsistemas se consideran como dimensiones e indicadores para el análisis y son los agentes críticos para el funcionamiento de una IES. Los aspectos referidos a lo Epistemetodológico, comenzó por identificar el enfoque epistemológico que sustenta el abordaje metodológico escogido. A continuación se identifican los elementos clásicos que se siguieron para llevar a cabo la investigación: Alcance o profundidad, población y muestra, instrumentos de recolección de información y su validación, para finalizar con la explicación procedimental para validar el modelo MIEGIES. La población considerada para el estudio empírico de validación fueron 585 personas distribuidas entre alumnos, docentes, personal administrativo y directivos de una Universidad Pública Venezolana. La muestra calculada fue de 238 individuos, número considerado representativo de la población. La aplicación de los instrumentos diseñados y validados permitió la obtención de un conjunto de datos, a partir de los cuales se validó el modelo MIEGIES. La validación del Modelo MIGEIES parte de sugerencias conceptuales para el análisis de los datos. Para ello se identificaron las variables relevantes, que pueden ser constructos o conceptos, las variables latentes que no pueden ser medidas directamente, sino que requiere seleccionar los indicadores que mejor las representan. Se aplicó la estrategia de modelación confirmatoria de los Modelos de Ecuaciones Estructurales (SEM). Para ello se parte de un análisis descriptivo de los datos, estimando la fiabilidad. A continuación se aplica un análisis factorial exploratorio y un análisis factorial confirmatorio. Para el análisis de la significancia del modelo global y el impacto en la planificación y gestión, se consideran el análisis de coeficientes de regresión y la tabla de ANOVA asociada, la cual de manera global especifica que el modelo planteado permite explicar la relación entre las variables definidas para la evaluación de la gestión de las IES. Así mismo, se encontró que este resultado de manera global explica que en la evaluación institucional tiene mucha importancia la gestión de la calidad y las finanzas. Es de especial importancia destacar el papel que desarrolla la planificación estratégica como herramienta de gestión que permite apoyar la toma de decisiones de las organizaciones en torno al quehacer actual y al camino que deben recorrer en el futuro para adecuarse a los cambios y a las demandas que les impone el entorno. El contraste estadístico de los dos modelos ajustados, el teórico y el empírico, permitió a través de técnicas estadísticas multivariables, demostrar de manera satisfactoria, la validez y aplicación del modelo propuesto en las IES. Los resultados obtenidos permiten afirmar que se pueden estimar de manera significativa los constructos que definen la evaluación de las instituciones de educación superior mediante el modelo elaborado. En el capítulo correspondiente a Conclusiones, se presenta en una de las primeras instancias, la relación conceptual propuesta entre los procesos de evaluación de la gestión institucional y de los cinco subsistemas que la integran. Posteriormente se encuentra que los modelos de ecuaciones estructurales con base en la estrategia de modelación confirmatoria es una herramienta estadística adecuada en la validación del modelo teórico, que fue el procedimiento propuesto en el marco de la investigación. En cuanto al análisis del impacto del Modelo en la Planificación y la Gestión, se concluye que ésta es una herramienta útil para cerrar el círculo de evaluación institucional. La planificación y la evaluación institucional son procesos inherentes a la filosofía de gestión. Es por ello que se recomienda su práctica como de necesario cumplimiento en todas las instancias funcionales y operativas de las Instituciones de Educación Superior. ABSTRACT The purpose of this dissertation is the development of a comprehensive model of management evaluation for higher education institutions (HEIs), based on evaluating the management of different subsystems and study the impact on planning and institutional management. This model was named Institutional Assessment Comprehensive Evaluation Model for the Management of HEI (in Spanish, MIEGIES). The model incorporates the management of complexity, management issues, commitment and social responsibility and resources in addition to the university's own processes with a comprehensive view of management. The conceptual bases are established by a review of the global context of higher education, through analysis and quality assessment in university environments. The following conceptual discussions covered the management of complexity, management practice, management of university social responsibility, resources and processes, followed by a contribution of modeling and models. Finally, a theoretical overview of the scope of application of structural equation model (SEM) validation is presented. The development of the conceptual model, dimensions and indicators was carried out applying the principles of soft systems methodology (SSM). For this, the root definition (RD), the systemic rationale of the model, to further develop their components and conceptual principles are identified. The model was composed of five subsystems, called: Complexity, University Social Responsibility, Management, Process and Resources. The subsystems are considered as dimensions and measures for analysis and are critical agents for the functioning of HEIs. In matters relating to epistemology and methodology we began to identify the approach that underpins the research: Scope, population and sample and data collection instruments. The classic elements that were followed to conduct research are identified. It ends with the procedural explanation to validate the MIEGIES model. The population considered for the empirical validation study was composed of 585 people distributed among students, faculty, staff and authorities of a public Venezuelan university. The calculated sample was 238 individuals, number considered representative of the population. The application of designed and validated instruments allowed obtaining a data set, from which the MIEGIES model was validated. The MIGEIES Model validation is initiated by the theoretical analysis of concepts. For this purpose the relevant variables that can be concepts or constructs were identified. The latent variables cannot be measured directly, but require selecting indicators that best represent them. Confirmatory modeling strategy of Structural Equation Modeling (SEM) was applied. To do this, we start from a descriptive analysis of the data, estimating reliability. An exploratory factor analysis and a confirmatory factor analysis were applied. To analyze the significance of the overall models the analysis of regression coefficients and the associated ANOVA table are considered. This comprehensively specifies that the proposed model can explain the relationship between the variables defined for evaluating the management of HEIs. It was also found that this result comprehensively explains that for institutional evaluation quality management and finance are very important. It is especially relevant to emphasize the role developed by strategic planning as a management tool that supports the decision making of organizations around their usual activities and the way they should evolve in the future in order to adapt to changes and demands imposed by the environment. The statistical test of the two fitted models, the theoretical and the empirical, enabled through multivariate statistical techniques to demonstrate satisfactorily the validity and application of the proposed model for HEIs. The results confirm that the constructs that define the evaluation of HEIs in the developed model can be estimated. In the Conclusions section the conceptual relationship between the processes of management evaluation and the five subsystems that comprise it are shown. Subsequently, it is indicated that structural equation models based on confirmatory modeling strategy is a suitable statistical tool in validating the theoretical model, which was proposed in the framework of the research procedure. The impact of the model in Planning and Management indicates that this is a useful tool to complete the institutional assessment. Planning and institutional assessment processes are inherent in management philosophy. That is why its practice is recommended as necessary compliance in all functional and operational units of HEIs.

El perfil de los consumidores de productos de comercio justo. Análisis de las variables que influyen en su intención de compra

El consumo mundial, impulsor del desarrollo y crecimiento económico de los pueblos, no ha sido igual para todas las naciones, ya que sus efectos han sido diferentes para los ciudadanos de los países del Norte y los del Sur, principalmente por dos razones: una, porque han originado complejos y diferentes estilos de vida y aspiraciones, lo que ha originado grandes diferencias entre los individuos de unos y otros países, y, dos, por su falta de valores sociales y éticos. Ante esta situación, la sociedad en su conjunto debe tomar conciencia de este hecho, y a través de un consumo responsable y de un mayor conocimiento de las relaciones comerciales entre los pueblos, debe optar por consumir productos elaborados bajo criterios de justicia y equidad. Para ayudar a alcanzar estos objetivos de equidad, solidaridad, justicia y ética, nació el Comercio Justo, que, en el caso de España, llegó con veinte años de retraso en la década de los ochenta. Aunque a día de hoy sus ventas crecen a un buen ritmo, siguen siendo inferiores al resto de los países europeos, por cuatro razones: (1) el desconocimiento que la mayoría de los potenciales consumidores tienen de este movimiento social; (2) la dificultad de acceder a los productos que comercializan; (3) el poco impulso que se ofrece desde las Administraciones Públicas; y, (4) porque hay pocas investigaciones en las que se haya analizado el Comercio Justo desde la perspectiva de la demanda, lo que ha implicado que no haya un conocimiento profundo sobre los consumidores de este tipo de productos y sobre sus motivaciones de compra. En base a todo lo expuesto, el presente trabajo se concibe como un estudio exploratorio, que tiene como objetivo principal analizar el perfil de los consumidores y no consumidores de productos de Comercio Justo, sus motivaciones de compra y no compra, así como las variables que influyen en la intención de compra futura, tanto en el segmento de consumidores actuales, como en el segmento de no consumidores de este tipo de productos. Para la realización de este trabajo, se ha utilizado, por una parte, una metodología cualitativa, que ha permitido acceder a la información sobre las opiniones y actitudes que intervienen en los procesos de decisión de compra; y, por otra, una metodología cuantitativa, a través de una encuesta online dirigida a 6.500 individuos, que ha permitido tener información, a través de sendos análisis descriptivos univariante y bivariante, de los individuos encuestados sobre el objeto del estudio. Para validar los modelos y contrastar las hipótesis planteadas, se ha utilizado el análisis de fiabilidad y validación de las escalas de medición seleccionadas (Alpha de Cronbach); el análisis factorial exploratorio, para comprobar la dimensionalidad y validez convergente de las escalas de medida; el análisis factorial confirmatorio, para validar la idoneidad de los modelos de medida propuestos; la regresión logística, para comprobar la validez del modelo general de la probabilidad de la compra o no compra de productos de Comercio Justo; y la regresión lineal múltiple, para comprobar la validez de los modelos específicos de intención de compra futura en los segmentos de compradores y de no compradores. Para realizar todos estos análisis, se han utilizado las herramientas informáticas SPSS v21 y AMOS. Las principales conclusiones del trabajo son: (1) que se deben establecer unos criterios claros que definan quién es quién en el movimiento de Comercio Justo, sus fines, sus objetivos, los productos que comercializan, así como su funcionamiento y desarrollo en España; (2) que, a pesar de las grandes ventajas y posibilidades del Comercio Justo, hay una falta de demanda de estos productos por parte de los consumidores responsables, debido principalmente a la falta de información-comunicación sobre el propio movimiento, y, muy especialmente, a la falta de información sobre los productos, los canales de comercialización, las políticas de precios, las políticas de comunicación, etc., y a la necesidad de que estos productos estén accesibles en los lugares donde los consumidores hacen su compra habitual; y (3) que el Comercio Justo español debe afrontar una serie de desafíos, como son la coordinación entre las diferentes organizaciones que participan en su desarrollo; la sensibilización de los consumidores; la creación de una imagen de marca que defina de una manera clara y sencilla qué es el Comercio Justo; la orientación al cliente y no al producto; y extender la red de comercialización de productos de Comercio Justo a los canales donde los consumidores hacen su compra habitualmente. ABSTRACT Global consumption, the driver of economic growth and development of nations, is not the same for all countries, since its effects have been different on people coming from the North or the South. This is due mainly to two reasons: firstly, because they have developed complex and different lifestyles and aspirations, which have led to significant differences between individuals of one country and another and secondly, because they lack social and ethical values. Given this situation, society as a whole should be aware of this fact, and through responsible consumption and a greater knowledge of trade relations between countries, should opt for consuming products produced with criteria of justice and equity. Fair Trade began as a way to help reach these goals of equity, solidarity, justice and ethics. In the case of Spain it did not start until 20 years later, in the eighties. Although today sales of Fair Trade products are growing at a good rate, they are still below that of other European countries, for four reasons: (1) unawareness of this social movement; (2) the difficult access to these products; (3) insufficient government support; (4) the limited research carried out to analyse Fair Trade from the perspective of demand, resulting in a lack of knowledge about this type of consumer and their purchasing motivations. Based on the above, the present study is designed as an exploratory investigation, aimed at analyzing the profile of consumers and non-consumers of Fair Trade, their motivations for buying and not buying, as well as the variables which influence future purchase intention in both the current consumer segment, and the non-user segment of such products. To carry out this study we have used, on the one hand, a qualitative methodology, to obtain information about the views and attitudes involved in the purchase decision process; and on the other, a quantitative methodology, through an online survey of 6,500 individuals, which provided information through two separate univariate and bivariate descriptive analysis, of the individuals interviewed about the object of this study. To validate the models and contrast hypotheses, we have used the reliability analysis and validation of the selected measurement scales (Cronbach's Alpha); exploratory factor analysis to verify the dimensionality and convergent validity of the measurement scales; confirmatory factor analysis to validate the adequacy of the models of measurement proposed; logistic regression, to verify the validity of the general model of the probability of buying or not buying Fair Trade products; and multiple linear regression to test the validity of specific models in future purchase intention in the segments of buyers and non-buyers. To carry out these analyses, we used SPSS v21 software tools and AMOS. The principal conclusions of the investigation are: (1) the need to establish clear criteria which define who is who in the Fair Trade movement, its goals, objectives, the products they sell, as well as its operation and development in Spain; (2) that despite the great advantages and possibilities of Fair Trade, there is a lack of demand for these products by responsible consumers, mainly due to the lack of information-communication about the movement itself, and especially on the range of products, sales channels, pricing policies, communication policies, etc., and the need for these products to be available in places where consumers make their usual purchase; and (3) that Spanish Fair Trade must address a number of challenges such as: coordination between the different organizations involved in trade development; consumer awareness; creation of a brand image that defines in a clear and simple way what Fair Trade is; focus on the customer rather than the product; and expansion of the network of Fair Trade sales outlets to include the channels where consumers usually make their purchases.

Face, content, and construct validity of the EndoViS training system for objective assessment of psychomotor skills of laparoscopic surgeons

Background The aim of this study is to present face, content, and constructs validity of the endoscopic orthogonal video system (EndoViS) training system and determines its efficiency as a training and objective assessment tool of the surgeons’ psychomotor skills. Methods Thirty-five surgeons and medical students participated in this study: 11 medical students, 19 residents, and 5 experts. All participants performed four basic skill tasks using conventional laparoscopic instruments and EndoViS training system. Subsequently, participants filled out a questionnaire regarding the design, realism, overall functionality, and its capabilities to train hand–eye coordination and depth perception, rated on a 5-point Likert scale. Motion data of the instruments were obtained by means of two webcams built into a laparoscopic physical trainer. To identify the surgical instruments in the images, colored markers were placed in each instrument. Thirteen motion-related metrics were used to assess laparoscopic performance of the participants. Statistical analysis of performance was made between novice, intermediate, and expert groups. Internal consistency of all metrics was analyzed with Cronbach’s α test. Results Overall scores about features of the EndoViS system were positives. Participants agreed with the usefulness of tasks and the training capacities of EndoViS system (score >4). Results presented significant differences in the execution of three skill tasks performed by participants. Seven metrics showed construct validity for assessment of performance with high consistency levels. Conclusions EndoViS training system has been successfully validated. Results showed that EndoViS was able to differentiate between participants of varying laparoscopic experience. This simulator is a useful and effective tool to objectively assess laparoscopic psychomotor skills of the surgeons.