Identifying Moderator Variables Through Requirements Elicitation Experiments Limitations

Interviews are the most widely used elicitation technique in Requirements Engineering (RE). Despite its importance, research in interviews is quite limited, in particular from an experimental perspective. We have performed a series of experiments exploring the relative effectiveness of structured and unstructured interviews. This line of research has been active in Information Systems in the past years, so that our experiments can be aggregated together with existing ones to obtain guidelines for practice. Experimental aggregation is a demanding task. It requires not only a large number of experiments, but also considering the influence of the existing moderators. However, in the current state of the practice in RE, those moderators are unknown. We believe that analyzing the threats to validity in interviewing experiments may give insight about how to improve further replications and the corresponding aggregations. It is likely that this strategy may be applied in other Software Engineering areas as well.

Estudio del impacto del usuario final en los procesos de desarrollo de sistemas de información

Durante décadas y aun en la actualidad muchas organizaciones, a nivel mundial, continúan afrontando pérdidas significativas debido a fracasos parciales y totales respecto a sus inversiones en sistemas de información (SI), planteando serios retos a los niveles gerenciales y los profesionales de SI. Estadísticas alarmantes y décadas de experiencia en la praxis en el área de SI en diversas organizaciones llevan al autor a poner el énfasis en los usuarios finales internos (UF) que son designados como representantes (UFR) de sus pares en los proyectos de desarrollo de SI (PDSI) por considerarlos como factores influyentes de manera significativa en el problema. Particularmente, con enfoque en ciertos factores de los UFR críticos para el éxito de los PDSI, con dimensiones analizadas de forma aislada o incompleta en otros estudios empíricos, a la fecha. No se encontraron estudios en Latinoamérica ni en otras latitudes que abordasen el fenómeno del éxito/fracaso de los SI desde el punto de vista adoptado en esta tesis. Por ello, esta investigación empírica ha evaluado en qué grado estos factores pudiesen influenciar los resultados durante el desarrollo e implementación de SI y su posible impacto en la satisfacción de los UF, siendo esta última aceptada por variados autores como la principal medida del éxito de los SI. Este estudio fue realizado en América Latina en las cuatro grandes empresas industriales que integran verticalmente el sector aluminio de Venezuela, sometidas a un macro PDSI para instalar el paquete, de tipo ERP, SAP/R3. Experimentados profesionales fueron encuestados o entrevistados, tales como altos ejecutivos, desarrolladores, líderes de proyecto y líderes de los UF. Un enfoque metodológico de triangulación permitió combinar un análisis cuantitativo con un análisis cualitativo interpretativo del tipo hermenéutico/dialéctico, hallándose resultados convergentes y complementarios. Un análisis estadístico, utilizando Partial Least Squares (PLS), seguido de un análisis hermenéutico/dialéctico. Los resultados confirmaron un hecho importante: en los casos problemáticos, paradójicamente, los orígenes de las razones de rechazo de esos SI argumentadas por los UF, en alto grado, apuntaron a los UFR o a ellos mismos. Los resultados también confirmaron la prevalencia de factores de orden cognitivo, conductual y político en estas organizaciones sobre los tecnológicos, al igual que el alto riesgo de dar por sentado la presencia y calidad de los factores requeridos de los UFR y de los otros factores estudiados. La validación estadística del modelo propuesto reveló al constructo conocimientos de los UFR como la principal variable latente, con los variables indicadoras que componen este constructo ejerciendo la mayor influencia sobre la calidad y el éxito de los SI. Un hallazgo contrario al de otros estudios, mostró que los conocimientos sobre las tecnologías de la información (TI) fueron los menos relevantes. Los SI de nómina y de administración de los RRHH fueron los más problemáticos, como suele ser el caso, por su complejidad en organizaciones grandes. Las conclusiones principales confirman el decisivo rol de los UF para el éxito de los PDSI y su relación con la creciente problemática planteada, la cual amerita más investigación y de las organizaciones una mayor atención y preparación. Descuidar los factores humanos y sociales así como una efectiva planificación y gestión de los mismos en preparación para estos proyectos origina serios riesgos. No obstante las limitaciones de este trabajo, la problemática analizada suele influir en los PDSI en diversas organizaciones, indistintamente de su tamaño o tipo de SI, estimándose, por tanto, que los resultados, conclusiones y recomendaciones de esta investigación tienen un alto grado de generalización. Una relación de indicadores claves es suministrada con fines preventivos. Finalmente, los factores evaluados pueden usarse para ampliar el modelo reconocido de DeLone y McLean (2003), conectándolos como variables latentes de sus variables independientes calidad de la información y calidad del SI. ABSTRACT For decades, many organizations worldwide have been enduring heavy losses due to partial and total failures regarding their investments in information systems (IS), posing serious challenges to all management levels and IS practitioners. Alarming statistics in this regard and decades of practice in the IS area lead the author to place an emphasis on the end users (EU) who are appointed in representation of their peers (EUR) to IS development projects (ISDP), considering them as highly influential factors on the problem. Especially, focusing on certain EUR success factors, and their dimensions, deemed critical to any IS development and implementation, omitted or not thoroughly analyzed neither in the theory nor in the empirical research on the subject, so far. No studies were found in Latin America or elsewhere addressing the phenomenon of IS success/failure from the perspective presented herein. Hence, this empirical research has assessed to what degree such factors can influence the outcomes of an ISDP and their feasible impact on the EU´s satisfaction, being the latter accepted by several authors as the main measure of IS success. This study was performed in Latin America embracing four major industrial enterprises, which vertically integrate the aluminum sector of Venezuela, subjected to a macro ISDP to install the ERP-type package SAP/R3. The field work included surveying and interviewing experienced professionals such as IS executives, IS developers, IS project leaders and end-user project leaders. A triangulation methodological approach allowed combining quantitative and interpretive analyses, obtaining convergent and complementing results. A statistical analysis, using Partial Least Squares (PLS), was carried out followed by a hermeneutical/dialectical analysis. Results confirmed a major finding: in problematic cases, paradoxically, the origins of IS rejection reasons argued by the EU, at a high degree, were usually traceable to the EUR and themselves. The results also confirmed the prevalence of cognitive, behavioral and political factors in these organizations as well as the high risk of taking for granted the presence and quality of those factors demanded from the EUR. The statistical validation of the proposed model revealed the construct EUR knowledge as the main latent variable, with its items exerting a major influence on IS quality and success. Another finding, in contradiction with that of other studies, proved knowledge of information technology (IT) aspects to be irrelevant. The payroll and the human resources administration IS were the most problematic, as is usually the case in large companies. The main conclusions confirm the EU´s decisive role for IS success and their relationship with the problem, which continues, demanding more research and, from organizations, more attention and preparation. Neglecting human and social factors in organizations as well as their effective planning and management in preparation for ISDP poses serious risks. Despite the limitations of this work, the analyzed problem tends to influence ISDP in a wide range of organizations; regardless of their size or type of IS, thus showing a high degree of generalization. Therefore it is believed that the results, conclusions and suggestions of this research have a high degree of generalization. A detailed checklist comprising key measures is provided for preventive actions. Finally, the factors evaluated can be used to expand the well-known model of DeLone & McLean (2003), by connecting them as latent variables of its independent variables information quality and IS quality.

Modelo para evaluar el capital social en programas de cooperación para el desarrollo

Los programas de desarrollo regional promovidos por los gobiernos nacionales y las agencias multilaterales, como el Banco Mundial y el Banco Interamericano de Desarrollo (BID), se orientan a las políticas públicas de suministro de bienes públicos, ya sean servicios públicos o infraestructuras, a las regiones subdesarrolladas. Las evidencias apuntan que el éxito de estos programas depende en parte de externalidades, las cuales se relacionan con los cambios del tejido asociativo y los valores de los participantes de la comunidad. Estas externalidades se definen como el capital social. Cómo las externalidades no son directamente evaluadas en el impacto económico y social de los proyectos, pero su existencia es aceptada por los planificadores que reconocen la importancia de desarrollar el tejido de relaciones en la comunidad. Sin embargo este capital social no es medido. El objeto de esta tesis es investigar y proponer procesos de medida y evaluación del capital social de un proyecto, y relacionarlos con las actividades del mismo en un territorio y proyecto dado como casos de estudio. El Programa de Desarrollo de la Zona de Mata (PROMATA) en el Estado de Pernambuco, Brasil, financiado por el Estado de Pernambuco en Brasil y el BID, finalizado en 2010, ha sido elegido como caso de estudio. Para la evaluación y medida del capital social se han estudiado dos periodos. Uno considerando solo los planes del proyecto, sin considerar su implantación, que se ha denominado evaluación A Priori, basada en un panel de expertos con visión de las externalidades generadas. Y otra con la participación de las partes de la comunidad después de su finalización, denomina evaluación A Posteriori, para lo cual se han entrevistado un número significativo de partes interesadas utilizando un cuestionario especialmente diseñado. Los resultados han sido procesados mediante análisis estadísticos avanzados. El proyecto PROMATA es considerado un caso de éxito en Brasil, en parte por su aproximación al desarrollo asociativo. Sin embargo las valoraciones del capital social muestran que algunas relaciones Estado-sociedad y sociedad-personas no han cambiado todo lo esperado, en oposición a las evaluaciones de satisfacción de los indicadores del proyecto. Es el efecto externo del capital social. ABSTRACT The regional development programs promoted by the national governments and international multilateral agencies, like the World Bank and the Interamerican Development Bank (BID), are oriented to public policies under which public goods, like public services and infrastructures, are supplied to underdeveloped regions. More and more evidences are pointing to the fact that success of these programs depends in a good part of externalities, which are related to the changes in the networking and values among the stakeholders in the territory. These externalities are defined as the Social Capital. As externalities, they are not directly evaluated in the projects economic and social impact, but accepted to exist and the planners of the projects do acknowledge the important of social networking. However never assessed. The objective of this thesis is to investigate and propose a way to measure and assess the social capital of a given project, and relate that with the activities of the project, with a given project and territory as base case. The Development Program in Zona da Mata (PROMATA) in the State of Pernambuco, Brazil, funded by the Brazil State and the BID, ended in 2010, was chosen as the base case. For the assessment of the social capital two periods in time where studied. One considering only the project program named a priori evaluation and based in a panel of experts, which are aware of the possible externalities of the project. Other, considering the stakeholders view after the project ended, named posterior evaluation, which required interviewing a number of stakeholders using a specially designed questionnaire. The results were processed using advanced statistical techniques. PROMATA is considered a success case story in Brazil, in part for its social networking approach. However when the social capital is assessed there are areas of state-society and society-community relations not that well transformed, as the satisfaction research of the project indicators. This unforeseen externality is the social capital effect.

Proyecto y lugar en la arquitectura doméstica de Jørn Utzon

En medio de un bosque danés, de altos arboles que se mueven al fuerte viento nórdico bajo el débil sol de las latitudes altas, y cargado de unos cuantos tableros de madera que consiguió de una exposición ya terminada, realizó Utzon su maqueta a escala real de su primera casa familiar en Hellebæk (1950-52) a la edad de treinta y dos años. De la misma manera que el pintor William Turner necesitó atarse a lo alto de un mástil de un barco, para vivir en directo una de las muchas tormentas que tantas y tantas veces había pintado en sus cuadros, el joven Utzon consideró indispensable introducirse dentro de la maqueta de su propia casa antes de construirla, para valorar in situ las potencialidades de aquel proyecto en relación al lugar. La obra de Jørn Utzon (1918-2008) es una arquitectura expectante y atenta del lugar donde se ubica. Jørn Utzon es un arquitecto de origen nórdico, que descubre su verdadera idiosincrasia en la cultura mediterránea, cultura en la que reside durante casi la mitad de toda su vida. Esta tesis se ha centrado en analizar exhaustivamente la relación de su arquitectura doméstica con el lugar donde se halla. Aspecto tan citado en la bibliografía existente de su obra, aunque nunca desarrollado de manera exhaustiva. El objetivo del análisis ha sido intentar encontrar invariantes o patrones que pudieran subyacer en su obra residencial en relación a ese tema. Para dicho análisis, se ha tomado una muestra suficientemente amplia de veinte viviendas o conjuntos residenciales (entre ellas sus cuatro viviendas familiares proyectadas), repartidas por cinco países (Suecia, Dinamarca, Reino Unido, España y Nueva Gales del Sur), que constituyen la tercera parte de su obra doméstica y la mitad de su obra construida residencial, así como las citas explícitas del autor sobre este tema en su obra escrita, y los planos o croquis de su obra gráfica. Como metodología de trabajo se ha recurrido a la consulta de las fuentes primarias: viajando y conociendo in-situ las casas seleccionadas en Dinamarca, Suecia, España y Australia; viviendo un mes en una de las casas (Can Lis) gracias a una beca del Gobierno danés y la Utzon Foundation; y realizando entrevistas a las personas que más cerca estuvieron del arquitecto en su entorno familiar y profesional. Asimismo, también se ha publicado parte de su contenido en medios internacionales: 4th International Utzon Symposium (7/3/2013-9/3/2014) y la página web oficial de Can Lis dependiente de la Utzon Foundation (www.canlis.dk). Las doce invariantes encontradas en relación al proyecto y lugar en los proyectos seleccionados, han sido agrupadas en torno a tres grandes elementos sobre los que Utzon constantemente reflexiona en sus escritos propios: horizonte, sol y material autóctono. Elementos que tienen su origen en la influencia que la navegación tuvo en su vida, y en su carácter espiritual y austero en lo material. La historia de Utzon es la de un nórdico, de vocación navegante, que encuentra su lugar en la cultura mediterránea, rodeado entre piedras de Marés, mientras divisa en silencio el horizonte marino en el umbral entre luz y sombra. ABSTRACT In the middle of a Danish forest, with high trees which move with the Nordic wind under the weak sun of high latitudes, and with the help of some wooden canvases acquired from an already completed exhibition, Jørn Utzon built a real-scale model of his first family house in Hellebæk (1950-52) at the age of thirty-two. In the same way that William Turner needed to be tied up on the top of a boat flagpole in order to have a first-hand experience of one of the many storms that he had depicted in his paintings so many times before, the young Utzon thought it was crucial to go into the model of his own house before building it, to evaluate in situ the potential of that project in relation to the place. Utzon’s work is architecture interested in and attentive of the place where it is situated. Jørn Utzon (1918-2008) is an architect of Nordic origin who discovered his own idiosyncrasy in the Mediterranean culture, in which he resided for half of his live. This thesis has focused on an exhaustive analysis of the relation between his domestic architecture and the place where it is located. This issue has been often cited in the existing bibliography, although it has never been exhaustively developed. The analysis objective has been to attempt to find invariants and patterns that could exist in his domestic work in relation to this subject. For this analysis, a sufficiently large sample has been selected: twenty houses or housing complexes (among others his own four family houses), distributed in five countries (Sweden, Denmark, United Kingdom, Spain and New South Wales), which constitute the third part of his domestic work, and half of his residential constructed projects, as well as Utzon’s written texts about this theme, and the drawings and sketches of his graphic work. The methodology used was based on consultation of primary sources: travelling and examining in situ the selected houses in Denmark, Sweden, Spain and Australia; living for a month in one of the houses (Can Lis) thanks to a research grant from the Danish Government and the Utzon Foundation; and interviewing people from his closest family and professional circles. Furthermore, part of the thesis has been published in international media: 4th International Utzon Symposium (7/3/2013-9/3/2014) and on the official web site of Can Lis, an Utzon Foundation subsidiary(www.canlis.dk). The twelve invariants discovered in relation to the project and the location of the selected projects, have been grouped according to three elements which Utzon continuously reflects upon in his own writings: the horizon, the sun and autochthonous material. Elements which originate from the influence that navigation had in his life, and from his spiritual and austere character. The story of Utzon is that of a Nordic person, with the vocation of a navigator, who found his place in the Mediterranean culture, surrounded with Marés stones, while silently making out the sea horizon on the threshold between light and shadow.

Estudio empírico de la influencia de la experiencia y del conocimiento del dominio del analista en la efectividad de la educción de requisitos

Contexto: La presente tesis doctoral se enmarca en la actividad de educción de los requisitos. La educción de requisitos es generalmente aceptada como una de las actividades más importantes dentro del proceso de Ingeniería de Requisitos, y tiene un impacto directo en la calidad del software. Es una actividad donde la comunicación entre los involucrados (analistas, clientes, usuarios) es primordial. La efectividad y eficacia del analista en la compresión de las necesidades de clientes y usuarios es un factor crítico para el éxito del desarrollo de software. La literatura se ha centrado principalmente en estudiar y comprender un conjunto específico de capacidades o habilidades personales que debe poseer el analista para realizar de forma efectiva la actividad de educción. Sin embargo, existen muy pocos trabajos que han estudiado dichas capacidades o habilidades empíricamente. Objetivo: La presente investigación tiene por objetivo estudiar el efecto de la experiencia, el conocimiento acerca del dominio y la titulación académica que poseen los analistas en la efectividad del proceso de educción de los requisitos, durante los primeros contactos del analista con el cliente. Método de Investigación: Hemos ejecutado 8 estudios empíricos entre cuasi-experimentos (4) y experimentos controlados (4). Un total de 110 sujetos experimentales han participado en los estudios, entre estudiantes de post-grado de la Escuela Técnica Superior de Ingenieros Informáticos de la Universidad Politécnica de Madrid y profesionales. La tarea experimental consistió en realizar sesiones de educción de requisitos sobre uno o más dominios de problemas (de carácter conocido y desconocido para los sujetos). Las sesiones de educción se realizaron empleando la entrevista abierta. Finalizada la entrevista, los sujetos reportaron por escrito toda la información adquirida. Resultados: Para dominios desconocidos, la experiencia (entrevistas, requisitos, desarrollo y profesional) del analista no influye en su efectividad. En dominios conocidos, la experiencia en entrevistas (r = 0.34, p-valor = 0.080) y la experiencia en requisitos (r = 0.22, p-valor = 0.279), ejercen un efecto positivo. Esto es, los analistas con más años de experiencia en entrevistas y/o requisitos tienden a alcanzar mejores efectividades. Por el contrario, la experiencia en desarrollo (r = -0.06, p-valor = 0.765) y la experiencia profesional (r = -0.35, p-valor = 0.077), tienden a ejercer un efecto nulo y negativo, respectivamente. En lo que respecta al conocimiento acerca del dominio del problema que poseen los analistas, ejerce un moderado efecto positivo (r=0.31), estadísticamente significativo (p-valor = 0.029) en la efectividad de la actividad de educción. Esto es, los analistas con conocimiento tienden a ser más efectivos en los dominios de problema conocidos. En lo que respecta a la titulación académica, por falta de diversidad en las titulaciones académicas de los sujetos experimentales no es posible alcanzar una conclusión. Hemos podido explorar el efecto de la titulación académica en sólo dos cuasi-experimentos, sin embargo, nuestros resultados arrojan efectos contradictorios (r = 0.694, p-valor = 0.51 y r = -0.266, p-valor = 0.383). Además de las variables estudiadas indicadas anteriormente, hemos confirmado la existencia de variables moderadoras que afectan a la actividad de educción, tales como el entrevistado o la formación. Nuestros datos experimentales confirman que el entrevistado es un factor clave en la actividad de educción. Estadísticamente ejerce una influencia significativa en la efectividad de los analistas (p-valor= 0.000). La diferencia entre entrevistar a uno u otro entrevistado, en unidades naturales, varía entre un 18% - 23% en efectividad. Por otro lado, la formación en requisitos aumenta considerablemente la efectividad de los analistas. Los sujetos que realizaron la educción de requisitos después de recibir una formación específica en requisitos tienden a ser entre un 12% y 20% más efectivos que aquellos que no la recibieron. El efecto es significativo (p-valor = 0.000). Finalmente, hemos observado tres hechos que podrían influir en los resultados de esta investigación. En primer lugar, la efectividad de los analistas es diferencial dependiendo del tipo de elemento del dominio. En dominios conocidos, los analistas con experiencia tienden a adquirir más conceptos que los analistas noveles. En los dominios desconocidos, son los procesos los que se adquieren de forma prominente. En segundo lugar, los analistas llegan a una especie de “techo de cristal” que no les permite adquirir más información. Es decir, el analista sólo reconoce (parte de) los elementos del dominio del problema mencionado. Este hecho se observa tanto en el dominio de problema desconocido como en el conocido, y parece estar relacionado con el modo en que los analistas exploran el dominio del problema. En tercer lugar, aunque los años de experiencia no parecen predecir cuán efectivo será un analista, sí parecen asegurar que un analista con cierta experiencia, en general, tendrá una efectividad mínima que será superior a la efectividad mínima de los analistas con menos experiencia. Conclusiones: Los resultados obtenidos muestran que en dominios desconocidos, la experiencia por sí misma no determina la efectividad de los analistas de requisitos. En dominios conocidos, la efectividad de los analistas se ve influenciada por su experiencia en entrevistas y requisitos, aunque sólo parcialmente. Otras variables influyen en la efectividad de los analistas, como podrían ser las habilidades débiles. El conocimiento del dominio del problema por parte del analista ejerce un efecto positivo en la efectividad de los analistas, e interacciona positivamente con la experiencia incrementando aún más la efectividad de los analistas. Si bien no fue posible obtener conclusiones sólidas respecto al efecto de la titulación académica, si parece claro que la formación específica en requisitos ejerce una importante influencia positiva en la efectividad de los analistas. Finalmente, el analista no es el único factor relevante en la actividad de educción. Los clientes/usuarios (entrevistados) también juegan un rol importante en el proceso de generación de información. ABSTRACT Context: This PhD dissertation addresses requirements elicitation activity. Requirements elicitation is generally acknowledged as one of the most important activities of the requirements process, having a direct impact in the software quality. It is an activity where the communication among stakeholders (analysts, customers, users) is paramount. The analyst’s ability to effectively understand customers/users’ needs represents a critical factor for the success of software development. The literature has focused on studying and comprehending a specific set of personal skills that the analyst must have to perform requirements elicitation effectively. However, few studies have explored those skills from an empirical viewpoint. Goal: This research aims to study the effects of experience, domain knowledge and academic qualifications on the analysts’ effectiveness when performing requirements elicitation, during the first stages of analyst-customer interaction. Research method: We have conducted eight empirical studies, quasi-experiments (four) and controlled experiments (four). 110 experimental subjects participated, including: graduate students with the Escuela Técnica Superior de Ingenieros Informáticos of the Universidad Politécnica de Madrid, as well as researchers and professionals. The experimental tasks consisted in elicitation sessions about one or several problem domains (ignorant and/or aware for the subjects). Elicitation sessions were conducted using unstructured interviews. After each interview, the subjects reported in written all collected information. Results: In ignorant domains, the analyst’s experience (interviews, requirements, development and professional) does not influence her effectiveness. In aware domains, interviewing experience (r = 0.34, p-value = 0.080) and requirements experience (r = 0.22, p-value = 0.279), make a positive effect, i.e.: the analysts with more years of interviewing/requirements experience tend to achieve higher effectiveness. On the other hand, development experience (r = -0.06, p-value = 0.765) and professional experience (r = -0.35, p-value = 0.077) tend to make a null and negative effect, respectively. On what regards the analyst’s problem domain knowledge, it makes a modest positive effect (r=0.31), statistically significant (p-value = 0.029) on the effectiveness of the elicitation activity, i.e.: the analysts with tend to be more effective in problem domains they are aware of. On what regards academic qualification, due to the lack of diversity in the subjects’ academic degrees, we cannot come to a conclusion. We have been able to explore the effect of academic qualifications in two experiments; however, our results show opposed effects (r = 0.694, p-value = 0.51 y r = -0.266, p-value = 0.383). Besides the variables mentioned above, we have confirmed the existence of moderator variables influencing the elicitation activity, such as the interviewee and the training. Our data confirm that the interviewee is a key factor in the elicitation activity; it makes statistically significant effect on analysts’ effectiveness (p-value = 0.000). Interviewing one or another interviewee represents a difference in effectiveness of 18% - 23%, in natural units. On the other hand, requirements training increases to a large extent the analysts’ effectiveness. Those subjects who performed requirements elicitation after specific training tend to be 12% - 20% more effective than those who did not receive training. The effect is statistically significant (p-value = 0.000). Finally, we have observed three phenomena that could have an influence on the results of this research. First, the analysts’ effectiveness differs depending on domain element types. In aware domains, experienced analysts tend to capture more concepts than novices. In ignorant domains, processes are identified more frequently. Second, analysts get to a “glass ceiling” that prevents them to acquire more information, i.e.: analysts only identify (part of) the elements of the problem domain. This fact can be observed in both the ignorant and aware domains. Third, experience years do not look like a good predictor of how effective an analyst will be; however, they seem to guarantee that an analyst with some experience years will have a higher minimum effectiveness than the minimum effectiveness of analysts with fewer experience years. Conclusions: Our results point out that experience alone does not explain analysts’ effectiveness in ignorant domains. In aware domains, analysts’ effectiveness is influenced the experience in interviews and requirements, albeit partially. Other variables influence analysts’ effectiveness, e.g.: soft skills. The analysts’ problem domain knowledge makes a positive effect in analysts’ effectiveness; it positively interacts with the experience, increasing even further analysts’ effectiveness. Although we could not obtain solid conclusions on the effect of the academic qualifications, it is plain clear that specific requirements training makes a rather positive effect on analysts’ effectiveness. Finally, the analyst is not the only relevant factor in the elicitation activity. The customers/users (interviewees) play also an important role in the information generation process.