Assessment of work performed by paired students: a pedagogical experience

“Teamwork” is one of the abilities most valued by employers. In [16] we describe the process of adapting to the ECTS methodologies (for ongoing assessment), a course in computer programming for students in a technical degree (Marine Engineering, UPM) not specifically dedicated to computing. As a further step in this process we have emphasized cooperative learning. For this, the students were paired and the work of each pair was evaluated via surprise tests taken and graded jointly, and constituting a substantial part of the final grade. Here we document this experience, discussing methodological aspects, describing indicators for measuring the impact of these methodologies on the educational experience, and reporting on the students’ opinion of it.

An Interval-based Multiobjective Approach to Feature Subset Selection Using Joint Modeling of Objectives and Variables

This paper studies feature subset selection in classification using a multiobjective estimation of distribution algorithm. We consider six functions, namely area under ROC curve, sensitivity, specificity, precision, F1 measure and Brier score, for evaluation of feature subsets and as the objectives of the problem. One of the characteristics of these objective functions is the existence of noise in their values that should be appropriately handled during optimization. Our proposed algorithm consists of two major techniques which are specially designed for the feature subset selection problem. The first one is a solution ranking method based on interval values to handle the noise in the objectives of this problem. The second one is a model estimation method for learning a joint probabilistic model of objectives and variables which is used to generate new solutions and advance through the search space. To simplify model estimation, l1 regularized regression is used to select a subset of problem variables before model learning. The proposed algorithm is compared with a well-known ranking method for interval-valued objectives and a standard multiobjective genetic algorithm. Particularly, the effects of the two new techniques are experimentally investigated. The experimental results show that the proposed algorithm is able to obtain comparable or better performance on the tested datasets.

Multi-objective Estimation of Distribution Algorithm Based on Joint Modeling of Objectives and Variables

This paper proposes a new multi-objective estimation of distribution algorithm (EDA) based on joint modeling of objectives and variables. This EDA uses the multi-dimensional Bayesian network as its probabilistic model. In this way it can capture the dependencies between objectives, variables and objectives, as well as the dependencies learnt between variables in other Bayesian network-based EDAs. This model leads to a problem decomposition that helps the proposed algorithm to find better trade-off solutions to the multi-objective problem. In addition to Pareto set approximation, the algorithm is also able to estimate the structure of the multi-objective problem. To apply the algorithm to many-objective problems, the algorithm includes four different ranking methods proposed in the literature for this purpose. The algorithm is applied to the set of walking fish group (WFG) problems, and its optimization performance is compared with an evolutionary algorithm and another multi-objective EDA. The experimental results show that the proposed algorithm performs significantly better on many of the problems and for different objective space dimensions, and achieves comparable results on some compared with the other algorithms.

Conformance monitoring, contract of objectives, tube in the sky

Ponencia invitada sobre asignacion y gestion de losts en el curso de verano de la UPM Research in Decisión Support Systems for future Air Traffic Management

Large-scale assessment of language proficiency: theoretical and pedagogical reflections on the use of multiple-choice tests

The new requirement placed on students in tertiary settings in Spain to demonstrate a B1 or a B2 proficiency level of English, in accordance with the Common European Framework of Reference for Languages (CEFRL), has led most Spanish universities to develop a program of certification or accreditation of the required level. The first part of this paper aims to provide a rationale for the type of test that has been developed at the Universidad Politécnica de Madrid for the accreditation of a B2 level, a multiple choice version, and to describe how it was constructed and validated. Then, in the second part of the paper, the results from its application to 924 students enrolled in different degree courses at a variety of schools and faculties at the university are analyzed based on a final test version item analysis. To conclude, some theoretical as well as practical conclusions about testing grammar that affect the teaching and learning process are drawn. RESUMEN. Las nuevas exigencias sobre niveles de competencia B1 y B2 en inglés según el Marco Común Europeo de Referencia para las Lenguas (MCERL) que se imponen sobre los estudiantes de grado y posgrado han llevado a la mayoría de las universidades españolas a desarrollar programas de acreditación o de certificación de estos niveles. La primera parte de este trabajo trata sobre las razones que fundamentan la elección de un tipo concreto de examen para la acreditación del nivel B2 de lengua inglesa en la Universidad Politécnica de Madrid. Se trata de un test de opción múltiple y en esta parte del trabajo se describe cómo fue diseñado y validado. En la segunda parte, se analizan los resultados de la aplicación del test a gran escala a un total de 924 estudiantes matriculados en varias escuelas y Facultades de la Universidad. Para terminar, se apuntan una serie de conclusiones teóricas y prácticas sobre la evaluación de la gramática y de qué modo influye en los procesos de enseñanza y aprendizaje.

Towards a Learning Object pedagogical quality metric based on the LORI evaluation model

Evaluating and measuring the pedagogical quality of Learning Objects is essential for achieving a successful web-based education. On one hand, teachers need some assurance of quality of the teaching resources before making them part of the curriculum. On the other hand, Learning Object Repositories need to include quality information into the ranking metrics used by the search engines in order to save users time when searching. For these reasons, several models such as LORI (Learning Object Review Instrument) have been proposed to evaluate Learning Object quality from a pedagogical perspective. However, no much effort has been put in defining and evaluating quality metrics based on those models. This paper proposes and evaluates a set of pedagogical quality metrics based on LORI. The work exposed in this paper shows that these metrics can be effectively and reliably used to provide quality-based sorting of search results. Besides, it strongly evidences that the evaluation of Learning Objects from a pedagogical perspective can notably enhance Learning Object search if suitable evaluations models and quality metrics are used. An evaluation of the LORI model is also described. Finally, all the presented metrics are compared and a discussion on their weaknesses and strengths is provided.

Una propuesta de modelado del estudiante basada en ontologías y diagnóstico pedagógico-cognitivo no monótono

Los recientes avances tecnológicos han encontrado un potencial campo de explotación en la educación asistida por computador. A finales de los años 90 surgió un nuevo campo de investigación denominado Entornos Virtuales Inteligentes para el Entrenamiento y/o Enseñanza (EVIEs), que combinan dos áreas de gran complejidad: Los Entornos Virtuales (EVs) y los Sistemas de Tutoría Inteligente (STIs). De este modo, los beneficios de los entornos 3D (simulación de entornos de alto riesgo o entornos de difícil uso, etc.) pueden combinarse con aquéllos de un STIs (personalización de materias y presentaciones, adaptación de la estrategia de tutoría a las necesidades del estudiante, etc.) para proporcionar soluciones educativas/de entrenamiento con valores añadidos. El Modelo del Estudiante, núcleo de un SIT, representa el conocimiento y características del estudiante, y refleja el proceso de razonamiento del estudiante. Su complejidad es incluso superior cuando los STIs se aplican a EVs porque las nuevas posibilidades de interacción proporcionadas por estos entornos deben considerarse como nuevos elementos de información clave para el modelado del estudiante, incidiendo en todo el proceso educativo: el camino seguido por el estudiante durante su navegación a través de escenarios 3D; el comportamiento no verbal tal como la dirección de la mirada; nuevos tipos de pistas e instrucciones que el módulo de tutoría puede proporcionar al estudiante; nuevos tipos de preguntas que el estudiante puede formular, etc. Por consiguiente, es necesario que la estructura de los STIs, embebida en el EVIE, se enriquezca con estos aspectos, mientras mantiene una estructura clara, estructurada, y bien definida. La mayoría de las aproximaciones al Modelo del Estudiante en STIs y en IVETs no consideran una taxonomía de posibles conocimientos acerca del estudiante suficientemente completa. Además, la mayoría de ellas sólo tienen validez en ciertos dominios o es difícil su adaptación a diferentes STIs. Para vencer estas limitaciones, hemos propuesto, en el marco de esta tesis doctoral, un nuevo mecanismo de Modelado del Estudiante basado en la Ingeniería Ontológica e inspirado en principios pedagógicos, con un modelo de datos sobre el estudiante amplio y flexible que facilita su adaptación y extensión para diferentes STIs y aplicaciones de aprendizaje, además de un método de diagnóstico con capacidades de razonamiento no monótono. El método de diagnóstico es capaz de inferir el estado de los objetivos de aprendizaje contenidos en el SIT y, a partir de él, el estado de los conocimientos del estudiante durante su proceso de aprendizaje. La aproximación almodelado del estudiante propuesta ha sido implementada e integrada en un agente software (el agente de modelado del estudiante) dentro de una plataforma software existente para el desarrollo de EVIEs denominadaMAEVIF. Esta plataforma ha sido diseñada para ser fácilmente configurable para diferentes aplicaciones de aprendizaje. El modelado del estudiante presentado ha sido implementado e instanciado para dos tipos de entornos de aprendizaje: uno para aprendizaje del uso de interfaces gráficas de usuario en una aplicación software y para un Entorno Virtual para entrenamiento procedimental. Además, se ha desarrollado una metodología para guiar en la aplicación del esta aproximación de modelado del estudiante a cada sistema concreto.---ABSTRACT---Recent technological advances have found a potential field of exploitation in computeraided education. At the end of the 90’s a new research field emerged, the so-called Intelligent Virtual Environments for Training and/or Education (IVETs), which combines two areas of great complexity: Virtual Environments (VE) and Intelligent Tutoring Systems (ITS). In this way, the benefits of 3D environments (simulation of high risk or difficult-to-use environments, etc.) may be combined with those of an ITS (content and presentation customization, adaptation of the tutoring strategy to the student requirements, etc.) in order to provide added value educational/training solutions. The StudentModel, core of an ITS, represents the student’s knowledge and characteristics, and reflects the student’s reasoning process. Its complexity is even higher when the ITSs are applied on VEs because the new interaction possibilities offered by these environments must be considered as new key information pieces for student modelling, impacting all the educational process: the path followed by the student during their navigation through 3D scenarios; non-verbal behavior such as gaze direction; new types of hints or instructions that the tutoring module can provide to the student; new question types that the student can ask, etc. Thus, it is necessary for the ITS structure, which is embedded in the IVET, to be enriched by these aspects, while keeping a clear, structured and well defined architecture. Most approaches to SM on ITSs and IVETs don’t consider a complete enough taxonomy of possible knowledge about the student. In addition, most of them have validity only in certain domains or they are hard to be adapted for different ITSs. In order to overcome these limitations, we have proposed, in the framework of this doctoral research project, a newStudentModeling mechanism that is based onOntological Engineering and inspired on pedagogical principles, with a wide and flexible data model about the student that facilitates its adaptation and extension to different ITSs and learning applications, as well as a rich diagnosis method with non-monotonic reasoning capacities. The diagnosis method is able to infer the state of the learning objectives encompassed by the ITS and, fromit, the student’s knowledge state during the student’s process of learning. The proposed student modelling approach has been implemented and integrated in a software agent (the student modeling agent) within an existing software platform for the development of IVETs called MAEVIF. This platform was designed to be easily configurable for different learning applications. The proposed student modeling has been implemented and it has been instantiated for two types of learning environments: one for learning to use the graphical user interface of a software application and a Virtual Environment for procedural training. In addition, a methodology to guide on the application of this student modeling approach to each specific system has been developed.

Contribución al estudio de propiedades ópticas en medios heterogéneos

Como contribución del estudio de medios heterogéneos, esta tesis recoge el trabajo llevado a cabo sobre modelado teórico y simulación del estudio de las propiedades ópticas de la piel y del agua del mar, como ejemplos paradigmáticos de medios heterogéneos. Se ha tomado como punto de partida el estudio de la propagación de la radiación óptica, más concretamente de la radiación láser, en un tejido biológico. La importancia de la caracterización óptica de un tejido es fundamental para manejar la interacción radiación-tejido que permite tanto el diagnóstico como la terapéutica de enfermedades y/o de disfunciones en las Ciencias de la Salud. Sin olvidar el objetivo de ofrecer una metodología de estudio, con un «enfoque ingenieril», de las propiedades ópticas en un medio heterogéneo, que no tiene por qué ser exclusivamente el tejido biológico. Como consecuencia de lo anterior y de la importancia que tiene el agua dentro de los tejidos biológicos se decide estudiar en otro capítulo las propiedades ópticas del agua dentro de un entorno heterogéneo como es el agua del mar. La selección del agua del mar, como objeto de estudio adicional, es motivada, principalmente, porque se trata de un sistema heterogéneo fácilmente descriptible en cada uno de sus elementos y permite evaluar una amplia bibliografía. Además se considera que los avances que han tenido lugar en los últimos años en las tecnologías fotónicas van a permitir su uso en los métodos experimentales de análisis de las aguas. El conocimiento de sus propiedades ópticas permite caracterizar los diferentes tipos de aguas de acuerdo con sus compuestos, así como poder identificar su presencia. Todo ello abre un amplio abanico de aplicaciones. En esta tesis doctoral, se ha conseguido de manera general: • Realizar un estudio del estado del arte del conocimiento de las propiedades ópticas de la piel y la identificación de sus elementos dispersores de la luz. • Establecer una metodología de estudio que nos permita obtener datos sobre posibles efectos de la radiación en los tejidos biológicos. •Usar distintas herramientas informáticas para simular el transporte de la radiación laser en tejidos biológicos. • Realizar experimentos mediante simulación de láser, tejidos biológicos y detectores. • Comparar los resultados conocidos experimentalmente con los simulados. • Estudiar los instrumentos de medida de la respuesta a la propagación de radiación laser en tejidos anisotrópicos. • Obtener resultados originales para el diagnóstico y tratamiento de pieles, considerando diferente razas y como alteración posible en la piel, se ha estudiado la presencia del basalioma. • Aplicación de la metodología de estudio realizada en la piel a la simulación de agua de mar. • Obtener resultados originales de simulación y análisis de cantidad de fitoplancton en agua; con el objetivo de facilitar la caracterización de diferentes tipos de aguas. La tesis doctoral se articula en 6 capítulos y 3 anexos perfectamente diferenciados con su propia bibliografía en cada uno de ellos. El primer capítulo está centrado en la problemática del difícil estudio y caracterización de los medios heterogéneos debidos a su comportamiento no homogéneo y anisotrópico ante las radiaciones ópticas. Así pues, presentaremos una breve introducción al comportamiento tanto de los tejidos como del océano ante radiaciones ópticas y definiremos sus principales propiedades: la absorción, el scattering, la anisotropía y los coeficientes de reflexión. Como continuación, un segundo capítulo trata de acercarnos a la resolución del problema de cómo caracterizar las propiedades ópticas descritas en el primer capítulo. Para ello, primero se introducen los modelos teóricos, en segundo lugar los métodos de simulación más empleados y, por último, enumerar las principales técnicas de medida de la propagación de la luz en los tejidos vivos. El tercer capítulo, centrado en la piel y sus propiedades, intenta realizar una síntesis de lo que se conoce sobre el comportamiento de la piel frente a la propagación de las radiaciones ópticas. Se estudian sus elementos constituyentes y los distintos tipos de pieles. Por último se describe un ejemplo de aplicación más inmediata que se beneficia de este conocimiento. Sabemos que el porcentaje de agua en el cuerpo humano es muy elevado, en concreto en la piel se considera de aproximadamente un 70%. Es obvio, por tanto, que conocer cómo afecta el agua en la propagación de una radiación óptica facilitaría el disponer de patrones de referencia; para ello, se realiza el estudio del agua del mar. En el cuarto capítulo se estudian las propiedades del agua del mar como medio heterogéneo de partículas. En este capítulo presentamos una síntesis de los elementos más significativos de dispersores en el océano, un estudio de su comportamiento individual frente a radiaciones ópticas y su contribución al océano en su conjunto. Finalmente, en el quinto capítulo se describen los resultados obtenidos en los distintos tipos de simulaciones realizadas. Las herramientas de simulación empleadas han sido las mismas tanto para el caso del estudio de la piel como para el agua del mar, por ello ambos resultados son expuestos en el mismo capítulo. En el primer caso se analizan diferentes tipos de agua oceánica, mediante la variación de las concentraciones de fitoplancton. El método empleado permite comprobar las diferencias que pueden encontrarse en la caracterización y diagnóstico de aguas. El segundo caso analizado es el de la piel; donde se estudia el comportamiento de distintos tipos de piel, se analizan para validar el método y se comprueba cómo el resultado es compatible con aplicaciones, actualmente comerciales, como la de la depilación con láser. Como resultado significativo se muestra la posible metodología a aplicar para el diagnóstico del cáncer de piel conocido como basalioma. Finalmente presentamos un capítulo dedicado a los trabajos futuros basados en experimentación real y el coste asociado que implicaría el llevarlo a cabo. Los anexos que concluyen la tesis doctoral versan por un lado sobre el funcionamiento del vector común de toda la tesis: el láser, sus aplicaciones y su control en la seguridad y por otro presentamos los coeficientes de absorción y scattering que hemos utilizado en nuestras simulaciones. El primero condensa las principales características de una radiación láser desde el punto de vista de su generación, el segundo presenta la seguridad en su uso y el tercero son tablas propias, cuyos parámetros son los utilizados en el apartado de experimentación. Aunque por el tipo de tesis que defiendo no se ajusta a los modelos canónicos de tesis doctoral, el lector podrá encontrar en esta tesis de forma imbricada, el modelo común a todas las tesis o proyectos de investigación con una sección dedicada al estado del arte con ejemplos pedagógicos para facilitar la compresión y se plantean unos objetivos (capítulos 1-4), y un capítulo que se subdivide en materiales y métodos y resultados y discusiones (capítulo 5 con sus subsecciones), para finalizar con una vista al futuro y los trabajos futuros que se desprenden de la tesis (capítulo 6). ABSTRACT As contribution to the study of heterogeneous media, this thesis covers the work carried out on theoretical modelling and simulation study of the optical properties of the skin and seawater, as paradigmatic examples of heterogeneous media. It is taken as a starting point the study of the propagation of optical radiation, in particular laser radiation in a biological tissue. The importance of optical characterization of a tissue is critical for managing the interaction between radiation and tissues that allows both diagnosis and therapy of diseases and / or dysfunctions in Health Sciences. Without forgetting the aim of providing a methodology of study, with "engineering approach" of the optical properties in a heterogeneous environment, which does not have to be exclusively biological tissue. As a result of this and the importance of water in biological tissues, we have decided to study the optical properties of water in a heterogeneous environment such as seawater in another chapter. The selection of sea water as an object of further study is motivated mainly because it is considered that the advances that have taken place in recent years in photonic technologies will allow its use in experimental methods of water analysis. Knowledge of the optical properties to characterize the different types of waters according to their compounds, as well as to identify its presence. All of this opens a wide range of applications. In this thesis, it has been generally achieved: • Conduct a study of the state of the art knowledge of the optical properties of the skin and identifying its light scattering elements. • Establish a study methodology that allows us to obtain data on possible effects of radiation on biological tissues. • Use different computer tools to simulate the transport of laser radiation in biological tissues. • Conduct experiments by simulating: laser, detectors, and biological tissues. • Compare the known results with our experimentally simulation. • Study the measuring instruments and its response to the propagation of laser radiation in anisotropic tissues. • Get innovative results for diagnosis and treatment of skin, considering different races and a possible alteration in the skin that we studied: the presence of basal cell carcinoma. • Application of the methodology of the study conducted in the skin to simulate seawater. • Get innovative results of simulation and analysis of amount of phytoplankton in water; in order to facilitate the characterization of different types of water. The dissertation is divided into six chapters and three annexes clearly distinguished by their own literature in each of them. The first chapter is focused on the problem of difficult study and characterization of heterogeneous media due to their inhomogeneous and anisotropic behaviour of optical radiation. So we present a brief introduction to the behaviour of both tissues at the cellular level as the ocean, to optical radiation and define the main optical properties: absorption, scattering, anisotropy and reflection coefficients. Following from this, a second chapter is an approach to solving the problem of how to characterize the optical properties described in the first chapter. For this, first the theoretical models are introduced, secondly simulation methods more used and, finally, the main techniques for measuring the propagation of light in living tissue. The third chapter is focused on the skin and its properties, tries to make a synthesis of what is known about the behaviour of the skin and its constituents tackle the spread of optical radiation. Different skin types are studied and an example of immediate application of this knowledge benefits described. We know that the percentage of water in the human body is very high, particularly in the skin is considered about 70%. It is obvious, therefore, that knowing how the water is affected by the propagation of an optical radiation facilitate to get reference patterns; For this, the study of seawater is performed. In the fourth chapter the properties of seawater as a heterogeneous component particles are studied. This chapter presents a summary of the scattering elements in the ocean, its individual response to optical radiation and its contribution to the ocean as a whole. In the fifth chapter the results of the different types of simulations are described. Simulation tools used were the same for the study of skin and seawater, so both results are presented in the chapter. In the first case different types of ocean water is analysed by varying the concentrations of phytoplankton. The method allows to check the differences that can be found in the characterization and diagnosis of water. The second case analysed is the skin; where the behaviour of different skin types are studied and checked how the result is compatible with applications currently trade, such as laser hair removal. As a significant result of the possible methodology to be applied for the diagnosis of skin cancer known as basal cell carcinoma is shown. Finally we present a chapter on future work based on actual experimentation and the associated cost which it would involve carrying out. The annexes conclude the thesis deal with one hand on the functioning of the common vector of the whole thesis: laser, control applications and safety and secondly we present the absorption and scattering coefficients we used in our simulations. The first condenses the main characteristics of laser radiation from the point of view of their generation, the second presents the safety in use and the third are own tables, whose parameters are used in the experimental section. Although the kind of view which I advocate does not meet the standard models doctoral thesis, the reader will find in this thesis so interwoven, the common model to all theses or research projects with a section on the state of the art pedagogical examples to facilitate the understanding and objectives (Chapters 1-4), and a chapter is divided into materials and methods and results and discussions (Chapter 5 subsections) arise, finishing with a view to the future and work future arising from the thesis (Chapter 6).