Sample Size vs. Bias in Defect Prediction

Most empirical disciplines promote the reuse and sharing of datasets, as it leads to greater possibility of replication. While this is increasingly the case in Empirical Software Engineering, some of the most popular bug-fix datasets are now known to be biased. This raises two significants concerns: first, that sample bias may lead to underperforming prediction models, and second, that the external validity of the studies based on biased datasets may be suspect. This issue has raised considerable consternation in the ESE literature in recent years. However, there is a confounding factor of these datasets that has not been examined carefully: size. Biased datasets are sampling only some of the data that could be sampled, and doing so in a biased fashion; but biased samples could be smaller, or larger. Smaller data sets in general provide less reliable bases for estimating models, and thus could lead to inferior model performance. In this setting, we ask the question, what affects performance more? bias, or size? We conduct a detailed, large-scale meta-analysis, using simulated datasets sampled with bias from a high-quality dataset which is relatively free of bias. Our results suggest that size always matters just as much bias direction, and in fact much more than bias direction when considering information-retrieval measures such as AUC and F-score. This indicates that at least for prediction models, even when dealing with sampling bias, simply finding larger samples can sometimes be sufficient. Our analysis also exposes the complexity of the bias issue, and raises further issues to be explored in the future.

Recursos intangibles como factores clave en la gestión estratégica de instituciones de educación superior y su impacto en los procesos de innovación

La presente investigación, tiene como objetivo analizar las influencias que ejercen los recursos intangibles (Gestión del Conocimiento, Marca, Reputación Organizacional y Responsabilidad Social) en la gestión estratégica de las instituciones de educación superior (IES) y el impacto de los mismos en los procesos de innovación a través del valor añadido que se transfiere al entorno. Se considera importante realizar un estudio sobre este tema dado que son las IES las encargadas de proporcionar los conocimientos y los nuevos hallazgos en innovaciones tecnológicas, que son transferidas al tejido productivo de las regiones, lo que proporciona crecimiento económico y mejoras en la calidad de vida. El estudio se enmarca dentro de los postulados de la teoría de los recursos y las capacidades (TRC) y de los intangibles, los cuales sirven de base a la investigación. Se planteó un sistema de hipótesis subdividido en dos vías de influencias. La primera, donde se analizan las influencias directas que ejercen los recursos intangibles sobre los resultados de las IES. La otra vía es la indirecta, que estudia las influencias que ejercen los recursos intangibles gestionados estratégicamente sobre los resultados de las IES. Esta investigación se ha concebido como no experimental, de tipo exploratorio, basada en el paradigma que busca explicar un fenómeno (variable dependiente) a través del comportamiento de las variables independientes. Es un estudio transversal, cuantitativo, que intenta describir las causas del fenómeno. Con el objeto de determinar las influencias o relaciones de causalidad que subyacen entre las variables, se utilizó la técnica del modelo de ecuaciones estructurales (SEM). La población objeto de estudio estuvo constituida por los 857 individuos pertenecientes a los consejos directivos de las IES, que forman parte de las base de datos que gestiona el Consorcio de Escuelas de Ingeniería de Latinoamérica y del Caribe y la Universidad Politécnica de Madrid, con un tamaño de muestra significativa de 250 directivos, lo que representa el 29,42% de la población. Como fuentes de recolección de información se utilizaron fuentes primarias y secundarias. Para recabar la información primaria se diseñó un cuestionario (ad hoc), el cual fue validado por expertos. La información de fuentes secundarias se extrajo de la bases de datos de la Red Iberoamericana de Ciencia y Tecnología (RICYT). Los resultados obtenidos indican que las influencias directas que pueden ejercer los recursos intangibles (Gestión del Conocimiento, Marca, Reputación Organizacional y Responsabilidad Social) no son significativas, por ello se rechazaron todas las hipótesis de la vía de influencia directa. Asimismo, de acuerdo con el contraste realizado al submodelo que representa la vía de influencia indirecta, resultaron significativas las influencias que ejercen los intangibles Gestión del Conocimiento y Reputación Organizacional, gestionadas estratégicamente sobre los resultados con valor añadido generado por las IES y transferidos al entorno. Sin embargo, no se apoyan todas las hipótesis del modelo, debido a que los constructos Marca y Responsabilidad Social resultaron no significativos. Las teorías sobre intangibles enmarcadas en la TRC no son del todo robustas y requieren de mayores esfuerzos por parte de los investigadores para lograr definir los constructos a utilizar. De igual forma, se sigue corroborando el desfase que existe entre las teorías que sustentan la investigación y las comprobaciones empíricas de las mismas. Además, se evidencia que las IES enfocan su actuación hacia la academia, por encima de las otras funciones, otorgando a la enseñanza e investigación y a la reputación organizacional una mayor importancia. Sin embargo, debido a su naturaleza no empresarial, las IES siguen manteniendo una filosofía de gestión enfocada a la generación y transmisión de conocimientos que crean reputación. Se excluyen los intangibles Marca y Responsabilidad Social, por considerar que no aportan valor a sus procesos internos o que están inmersos dentro de otros recursos intangibles. En conclusión, se corrobora el atraso de la gestión estratégica que presentan las IES en Latinoamérica. Se comprueba la no aplicación de postulados básicos de la gerencia moderna que contribuyan al manejo eficiente de todos sus recursos y al logro de sus objetivos. Esto deriva en la necesidad de modernizar la visión estratégica de las IES y en crear mejores mecanismos para lograr reconocer, mantener, proteger y desarrollar los Recursos Intangibles que poseen, realizando combinaciones de recursos óptimas, que maximicen la creación de valor para sí mismas y para la sociedad a la que pertenecen. ABSTRACT This research aims to analyze the influences exerted by intangible resources (Knowledge Management, Brand, Organizational Reputation and Social Responsibility) in the strategic management of higher education institutions (HEIs) and their impact in the innovation processes through the added value that is transferred to the environment. It is considered important to conduct a study on this issue since HEIs are responsible for providing knowledge and new findings on technological innovations, which are then, transferred to the productive fabric of these regions, providing economic growth and improvements in quality of life. The study is framed within the tenets of the Theory of Resources and Capabilities (TRC) and of intangibles which underlie this research. A system of hypotheses was raised which was subdivided into two pathways of influences. In the first system the direct influences exerted by intangible resources on the results of the IES are analyzed. The other system focuses on the indirect influences exerted by the strategically managed intangible resources on the HEIs results. This research is designed as experimental, exploratory and based on the paradigm that seeks to explain a phenomenon (the dependent variable) through the behavior of the independent variables. It is a crosssectional, quantitative study, which attempts to describe the causes of the phenomenon. In order to determine the influences or causal relationships among variables the structural equation modeling technique (SEM) was used. The population under study consisted of 857 individuals from the boards of HEIs, which are part of the database managed by the Consortium of Engineering Schools in Latin America and the Caribbean and the Technical University of Madrid, with a significant sample size of 250 managers which represents 29.42% of the population. As sources of information gathering primary and secondary sources were used. To collect primary information an ad-hoc questionnaire which was validated by experts was designed. The secondary information was extracted from the database of the Latin American Network of Science and Technology (RICYT). The results obtained indicate that the direct influences that intangible resources (Knowledge Management, Brand, Organizational Reputation and Social Responsibility) can exert are not significant. Therefore, all hypotheses related to direct influence were rejected. Also, according to the test made with the system which represents the indirect channel of influence, significant influences were exerted on the results with added value generated by the HEIs by the intangibles Knowledge Management and Organizational Reputation when they were managed strategically. However, all model hypotheses are not supported, because the constructs Brand and Social Responsibility were not significant. Theories of intangibles within the framework of the Theory of Resources and Capabilities are not entirely robust and require greater efforts by researchers to define the constructs to be used. Similarly the existing gap between the theories underpinning research and the empirical tests continues to be corroborated. In addition, there is evidence that HEIs focus their action on the academy neglecting the other functions, giving more importance to teaching, research and organizational reputation. However, due to their non-business nature, HEIs still maintain a management philosophy focused on the generation and transmission of knowledge which leads to reputation. The intangibles Brand and Social Responsibility are excluded, considering that they do not add value to their internal processes or are embedded within other intangible resources. In conclusion, the backwardness of HEIs’ strategic management in Latin America is confirmed. The lack of application of the basic principles of modern management that contribute to the efficient administration of all the resources and the achievement of objectives is proven. This leads to the need to modernize the strategic vision of HEIs and the need for better mechanisms to recognize, maintain, protect and develop the intangible resources they possess, achieving optimal combinations of resources in order to maximize the creation of value for them and for the society to which they belong.