Contributions to the contextualization of human-machine spoken interaction systems

The design and development of spoken interaction systems has been a thoroughly studied research scope for the last decades. The aim is to obtain systems with the ability to interact with human agents with a high degree of naturalness and efficiency, allowing them to carry out the actions they desire using speech, as it is the most natural means of communication between humans. To achieve that degree of naturalness, it is not enough to endow systems with the ability to accurately understand the user’s utterances and to properly react to them, even considering the information provided by the user in his or her previous interactions. The system has also to be aware of the evolution of the conditions under which the interaction takes place, in order to act the most coherent way as possible at each moment. Consequently, one of the most important features of the system is that it has to be context-aware. This context awareness of the system can be reflected in the modification of the behaviour of the system taking into account the current situation of the interaction. For instance, the system should decide which action it has to carry out, or the way to perform it, depending on the user that requests it, on the way that the user addresses the system, on the characteristics of the environment in which the interaction takes place, and so on. In other words, the system has to adapt its behaviour to these evolving elements of the interaction. Moreover that adaptation has to be carried out, if possible, in such a way that the user: i) does not perceive that the system has to make any additional effort, or to devote interaction time to perform tasks other than carrying out the requested actions, and ii) does not have to provide the system with any additional information to carry out the adaptation, which could imply a lesser efficiency of the interaction, since users should devote several interactions only to allow the system to become adapted. In the state-of-the-art spoken dialogue systems, researchers have proposed several disparate strategies to adapt the elements of the system to different conditions of the interaction (such as the acoustic characteristics of a specific user’s speech, the actions previously requested, and so on). Nevertheless, to our knowledge there is not any consensus on the procedures to carry out these adaptation. The approaches are to an extent unrelated from one another, in the sense that each one considers different pieces of information, and the treatment of that information is different taking into account the adaptation carried out. In this regard, the main contributions of this Thesis are the following ones: Definition of a contextualization framework. We propose a unified approach that can cover any strategy to adapt the behaviour of a dialogue system to the conditions of the interaction (i.e. the context). In our theoretical definition of the contextualization framework we consider the system’s context as all the sources of variability present at any time of the interaction, either those ones related to the environment in which the interaction takes place, or to the human agent that addresses the system at each moment. Our proposal relies on three aspects that any contextualization approach should fulfill: plasticity (i.e. the system has to be able to modify its behaviour in the most proactive way taking into account the conditions under which the interaction takes place), adaptivity (i.e. the system has also to be able to consider the most appropriate sources of information at each moment, both environmental and user- and dialogue-dependent, to effectively adapt to the conditions aforementioned), and transparency (i.e. the system has to carry out the contextualizaton-related tasks in such a way that the user neither perceives them nor has to do any effort in providing the system with any information that it needs to perform that contextualization). Additionally, we could include a generality aspect to our proposed framework: the main features of the framework should be easy to adopt in any dialogue system, regardless of the solution proposed to manage the dialogue. Once we define the theoretical basis of our contextualization framework, we propose two cases of study on its application in a spoken dialogue system. We focus on two aspects of the interaction: the contextualization of the speech recognition models, and the incorporation of user-specific information into the dialogue flow. One of the modules of a dialogue system that is more prone to be contextualized is the speech recognition system. This module makes use of several models to emit a recognition hypothesis from the user’s speech signal. Generally speaking, a recognition system considers two types of models: an acoustic one (that models each of the phonemes that the recognition system has to consider) and a linguistic one (that models the sequences of words that make sense for the system). In this work we contextualize the language model of the recognition system in such a way that it takes into account the information provided by the user in both his or her current utterance and in the previous ones. These utterances convey information useful to help the system in the recognition of the next utterance. The contextualization approach that we propose consists of a dynamic adaptation of the language model that is used by the recognition system. We carry out this adaptation by means of a linear interpolation between several models. Instead of training the best interpolation weights, we make them dependent on the conditions of the dialogue. In our approach, the system itself will obtain these weights as a function of the reliability of the different elements of information available, such as the semantic concepts extracted from the user’s utterance, the actions that he or she wants to carry out, the information provided in the previous interactions, and so on. One of the aspects more frequently addressed in Human-Computer Interaction research is the inclusion of user specific characteristics into the information structures managed by the system. The idea is to take into account the features that make each user different from the others in order to offer to each particular user different services (or the same service, but in a different way). We could consider this approach as a user-dependent contextualization of the system. In our work we propose the definition of a user model that contains all the information of each user that could be potentially useful to the system at a given moment of the interaction. In particular we will analyze the actions that each user carries out throughout his or her interaction. The objective is to determine which of these actions become the preferences of that user. We represent the specific information of each user as a feature vector. Each of the characteristics that the system will take into account has a confidence score associated. With these elements, we propose a probabilistic definition of a user preference, as the action whose likelihood of being addressed by the user is greater than the one for the rest of actions. To include the user dependent information into the dialogue flow, we modify the information structures on which the dialogue manager relies to retrieve information that could be needed to solve the actions addressed by the user. Usage preferences become another source of contextual information that will be considered by the system towards a more efficient interaction (since the new information source will help to decrease the need of the system to ask users for additional information, thus reducing the number of turns needed to carry out a specific action). To test the benefits of the contextualization framework that we propose, we carry out an evaluation of the two strategies aforementioned. We gather several performance metrics, both objective and subjective, that allow us to compare the improvements of a contextualized system against the baseline one. We will also gather the user’s opinions as regards their perceptions on the behaviour of the system, and its degree of adaptation to the specific features of each interaction. Resumen El diseño y el desarrollo de sistemas de interacción hablada ha sido objeto de profundo estudio durante las pasadas décadas. El propósito es la consecución de sistemas con la capacidad de interactuar con agentes humanos con un alto grado de eficiencia y naturalidad. De esta manera, los usuarios pueden desempeñar las tareas que deseen empleando la voz, que es el medio de comunicación más natural para los humanos. A fin de alcanzar el grado de naturalidad deseado, no basta con dotar a los sistemas de la abilidad de comprender las intervenciones de los usuarios y reaccionar a ellas de manera apropiada (teniendo en consideración, incluso, la información proporcionada en previas interacciones). Adicionalmente, el sistema ha de ser consciente de las condiciones bajo las cuales transcurre la interacción, así como de la evolución de las mismas, de tal manera que pueda actuar de la manera más coherente en cada instante de la interacción. En consecuencia, una de las características primordiales del sistema es que debe ser sensible al contexto. Esta capacidad del sistema de conocer y emplear el contexto de la interacción puede verse reflejada en la modificación de su comportamiento debida a las características actuales de la interacción. Por ejemplo, el sistema debería decidir cuál es la acción más apropiada, o la mejor manera de llevarla a término, dependiendo del usuario que la solicita, del modo en el que lo hace, etcétera. En otras palabras, el sistema ha de adaptar su comportamiento a tales elementos mutables (o dinámicos) de la interacción. Dos características adicionales son requeridas a dicha adaptación: i) el usuario no ha de percibir que el sistema dedica recursos (temporales o computacionales) a realizar tareas distintas a las que aquél le solicita, y ii) el usuario no ha de dedicar esfuerzo alguno a proporcionar al sistema información adicional para llevar a cabo la interacción. Esto último implicaría una menor eficiencia de la interacción, puesto que los usuarios deberían dedicar parte de la misma a proporcionar información al sistema para su adaptación, sin ningún beneficio inmediato. En los sistemas de diálogo hablado propuestos en la literatura, se han propuesto diferentes estrategias para llevar a cabo la adaptación de los elementos del sistema a las diferentes condiciones de la interacción (tales como las características acústicas del habla de un usuario particular, o a las acciones a las que se ha referido con anterioridad). Sin embargo, no existe una estrategia fija para proceder a dicha adaptación, sino que las mismas no suelen guardar una relación entre sí. En este sentido, cada una de ellas tiene en cuenta distintas fuentes de información, la cual es tratada de manera diferente en función de las características de la adaptación buscada. Teniendo en cuenta lo anterior, las contribuciones principales de esta Tesis son las siguientes: Definición de un marco de contextualización. Proponemos un criterio unificador que pueda cubrir cualquier estrategia de adaptación del comportamiento de un sistema de diálogo a las condiciones de la interacción (esto es, el contexto de la misma). En nuestra definición teórica del marco de contextualización consideramos el contexto del sistema como todas aquellas fuentes de variabilidad presentes en cualquier instante de la interacción, ya estén relacionadas con el entorno en el que tiene lugar la interacción, ya dependan del agente humano que se dirige al sistema en cada momento. Nuestra propuesta se basa en tres aspectos que cualquier estrategia de contextualización debería cumplir: plasticidad (es decir, el sistema ha de ser capaz de modificar su comportamiento de la manera más proactiva posible, teniendo en cuenta las condiciones en las que tiene lugar la interacción), adaptabilidad (esto es, el sistema ha de ser capaz de considerar la información oportuna en cada instante, ya dependa del entorno o del usuario, de tal manera que adecúe su comportamiento de manera eficaz a las condiciones mencionadas), y transparencia (que implica que el sistema ha de desarrollar las tareas relacionadas con la contextualización de tal manera que el usuario no perciba la manera en que dichas tareas se llevan a cabo, ni tampoco deba proporcionar al sistema con información adicional alguna). De manera adicional, incluiremos en el marco propuesto el aspecto de la generalidad: las características del marco de contextualización han de ser portables a cualquier sistema de diálogo, con independencia de la solución propuesta en los mismos para gestionar el diálogo. Una vez hemos definido las características de alto nivel de nuestro marco de contextualización, proponemos dos estrategias de aplicación del mismo a un sistema de diálogo hablado. Nos centraremos en dos aspectos de la interacción a adaptar: los modelos empleados en el reconocimiento de habla, y la incorporación de información específica de cada usuario en el flujo de diálogo. Uno de los módulos de un sistema de diálogo más susceptible de ser contextualizado es el sistema de reconocimiento de habla. Este módulo hace uso de varios modelos para generar una hipótesis de reconocimiento a partir de la señal de habla. En general, un sistema de reconocimiento emplea dos tipos de modelos: uno acústico (que modela cada uno de los fonemas considerados por el reconocedor) y uno lingüístico (que modela las secuencias de palabras que tienen sentido desde el punto de vista de la interacción). En este trabajo contextualizamos el modelo lingüístico del reconocedor de habla, de tal manera que tenga en cuenta la información proporcionada por el usuario, tanto en su intervención actual como en las previas. Estas intervenciones contienen información (semántica y/o discursiva) que puede contribuir a un mejor reconocimiento de las subsiguientes intervenciones del usuario. La estrategia de contextualización propuesta consiste en una adaptación dinámica del modelo de lenguaje empleado en el reconocedor de habla. Dicha adaptación se lleva a cabo mediante una interpolación lineal entre diferentes modelos. En lugar de entrenar los mejores pesos de interpolación, proponemos hacer los mismos dependientes de las condiciones actuales de cada diálogo. El propio sistema obtendrá estos pesos como función de la disponibilidad y relevancia de las diferentes fuentes de información disponibles, tales como los conceptos semánticos extraídos a partir de la intervención del usuario, o las acciones que el mismo desea ejecutar. Uno de los aspectos más comúnmente analizados en la investigación de la Interacción Persona-Máquina es la inclusión de las características específicas de cada usuario en las estructuras de información empleadas por el sistema. El objetivo es tener en cuenta los aspectos que diferencian a cada usuario, de tal manera que el sistema pueda ofrecer a cada uno de ellos el servicio más apropiado (o un mismo servicio, pero de la manera más adecuada a cada usuario). Podemos considerar esta estrategia como una contextualización dependiente del usuario. En este trabajo proponemos la definición de un modelo de usuario que contenga toda la información relativa a cada usuario, que pueda ser potencialmente utilizada por el sistema en un momento determinado de la interacción. En particular, analizaremos aquellas acciones que cada usuario decide ejecutar a lo largo de sus diálogos con el sistema. Nuestro objetivo es determinar cuáles de dichas acciones se convierten en las preferencias de cada usuario. La información de cada usuario quedará representada mediante un vector de características, cada una de las cuales tendrá asociado un valor de confianza. Con ambos elementos proponemos una definición probabilística de una preferencia de uso, como aquella acción cuya verosimilitud es mayor que la del resto de acciones solicitadas por el usuario. A fin de incluir la información dependiente de usuario en el flujo de diálogo, llevamos a cabo una modificación de las estructuras de información en las que se apoya el gestor de diálogo para recuperar información necesaria para resolver ciertos diálogos. En dicha modificación las preferencias de cada usuario pasarán a ser una fuente adicional de información contextual, que será tenida en cuenta por el sistema en aras de una interacción más eficiente (puesto que la nueva fuente de información contribuirá a reducir la necesidad del sistema de solicitar al usuario información adicional, dando lugar en consecuencia a una reducción del número de intervenciones necesarias para llevar a cabo una acción determinada). Para determinar los beneficios de las aplicaciones del marco de contextualización propuesto, llevamos a cabo una evaluación de un sistema de diálogo que incluye las estrategias mencionadas. Hemos recogido diversas métricas, tanto objetivas como subjetivas, que nos permiten determinar las mejoras aportadas por un sistema contextualizado en comparación con el sistema sin contextualizar. De igual manera, hemos recogido las opiniones de los participantes en la evaluación acerca de su percepción del comportamiento del sistema, y de su capacidad de adaptación a las condiciones concretas de cada interacción.

TIMPANO: Technology for complex Human-Machine conversational interaction with dynamic learning

El proyecto TIMPANO tiene por objetivo profundizar en el desarrollo de sistemas de comunicación oral hombre-máquina atendiendo principalmente a la capacidad de dar respuesta a múltiples requerimientos de los usuarios, como pueden ser el acceso a información, la extracción de información, o el análisis de grandes repositorios de información en audio. En el proyecto se hace especial énfasis en la adaptación dinámica de los modelos a diversos contextos, tanto de tipo acústico, como semántico o de idioma.

Adaptive fuzzy knowledge-based systems for control metabots' mobility on virtual environments

The confluence of three-dimensional (3D) virtual worlds with social networks imposes on software agents, in addition to conversational functions, the same behaviours as those common to human-driven avatars. In this paper, we explore the possibilities of the use of metabots (metaverse robots) with motion capabilities in complex virtual 3D worlds and we put forward a learning model based on the techniques used in evolutionary computation for optimizing the fuzzy controllers which will subsequently be used by metabots for moving around a virtual environment.

Intentions: a confident-based interaction design for smart spaces

The paradigm of ubiquitous computing has become a reference for the design of Smart Spaces. Current trends in Ambient Intelligence are increasingly related to the scope of Internet of Things. This paradigm has the potential to support cost-effective solutions in the fields of telecare, e-health and Ambient Assisted Living. Nevertheless, ubiquitous computing does not provide end users with a role for proactive interactions with the environment. Thus, the deployment of smart health care services at a private space like the home is still unsolved. This PhD dissertation aims to define a person-environment interaction model to foster acceptability and users confidence in private spaces by applying the concept of user-centred security and the human performance model of seven stages of action.

Survey and brain storming studies about machines, constructions, human and environmental risk consideration in the careers of the Universidad Politécnica of Madrid

The Universidad Politécnica of Madrid (UPM) includes schools and faculties that were for engineering degrees, architecture and computer science, that are now in a quick EEES Bolonia Plan metamorphosis getting into degrees, masters and doctorate structures. They are focused towards action in machines, constructions, enterprises, that are subjected to machines, human and environment created risks. These are present in actions such as use loads, wind, snow, waves, flows, earthquakes, forces and effects in machines, vehicles behavior, chemical effects, and other environmental factors including effects of crops, cattle and beasts, forests, and varied essential economic and social disturbances. Emphasis is for authors in this session more about risks of natural origin, such as for hail, winds, snow or waves that are not exactly known a priori, but that are often considered with statistical expected distributions giving extreme values for convenient return periods. These distributions are known from measures in time, statistic of extremes and models about hazard scenarios and about responses of man made constructions or devices. In each engineering field theories were built about hazards scenarios and how to cover for important risks. Engineers must get that the systems they handle, such as vehicles, machines, firms or agro lands or forests, obtain production with enough safety for persons and with decent economic results in spite of risks. For that risks must be considered in planning, in realization and in operation, and safety margins must be taken but at a reasonable cost. That is a small level of risks will often remain, due to limitations in costs or because of due to strange hazards, and maybe they will be covered by insurance in cases such as in transport with cars, ships or aircrafts, in agro for hail, or for fire in houses or in forests. These and other decisions about quality, security for men or about business financial risks are sometimes considered with Decision Theories models, using often tools from Statistics or operational Research. The authors have done and are following field surveys about risk consideration in the careers in UPM, making deep analysis of curricula taking into account the new structures of degrees in the EEES Bolonia Plan, and they have considered the risk structures offered by diverse schools of Decision theories. That gives an aspect of the needs and uses, and recommendations about improving in the teaching about risk, that may include special subjects especially oriented for each career, school or faculty, so as to be recommended to be included into the curricula, including an elaboration and presentation format using a multi-criteria decision model.

Using modular neural networks to model self-consciousness and self-representation for artificial entities

Self-consciousness implies not only self or group recognition, but also real knowledge of one’s own identity. Self-consciousness is only possible if an individual is intelligent enough to formulate an abstract self-representation. Moreover, it necessarily entails the capability of referencing and using this elf-representation in connection with other cognitive features, such as inference, and the anticipation of the consequences of both one’s own and other individuals’ acts. In this paper, a cognitive architecture for self-consciousness is proposed. This cognitive architecture includes several modules: abstraction, self-representation, other individuals'representation, decision and action modules. It includes a learning process of self-representation by direct (self-experience based) and observational learning (based on the observation of other individuals). For model implementation a new approach is taken using Modular Artificial Neural Networks (MANN). For model testing, a virtual environment has been implemented. This virtual environment can be described as a holonic system or holarchy, meaning that it is composed of autonomous entities that behave both as a whole and as part of a greater whole. The system is composed of a certain number of holons interacting. These holons are equipped with cognitive features, such as sensory perception, and a simplified model of personality and self-representation. We explain holons’ cognitive architecture that enables dynamic self-representation. We analyse the effect of holon interaction, focusing on the evolution of the holon’s abstract self-representation. Finally, the results are explained and analysed and conclusions drawn.

Diseño de una práctica para un laboratorio virtual de biotecnología multilingüe y adaptable a alumnos de secundaria

Este trabajo describe el diseño y la implementación de un ejercicio virtual que es parte de una práctica que se realiza en un laboratorio virtual de biotecnología, la adaptación de la misma para que alumnos de secundaria la puedan realizar y por último, la adaptación del laboratorio a un entorno multilingüe. La práctica consiste en transformar genéticamente un árbol (chopo) para dotarlo de una mayor resistencia a enfermedades, especialmente las producidas por hongos y más en concreto, el ejercicio o fase de la práctica a desarrollar consiste en introducir en el plásmido un gen amplificado por la PCR obtenido en la fase anterior de la práctica virtual. La adaptación para alumnos de secundaria servirá para fomentar el interés de estos alumnos por la biotecnología. Asimismo, la adaptación a un entorno multilingüe permitirá que varios alumnos de distintos idiomas realicen la práctica de forma simultánea. Como parte de este trabajo, se ha realizado un análisis sobre OpenSimulator, que es la herramienta utilizada para la creación del entorno virtual, así como de sus visores gráficos para visitar y desarrollar el mundo virtual. Debido a que este proyecto toma como punto de partida un laboratorio virtual con una parte de la práctica virtual ya desarrollada, se ha incluido una descripción de dicho laboratorio para comprender mejor el trabajo que se ha realizado en este proyecto. Finalmente, en este trabajo se presentan los modelos y especificaciones para la extensión del laboratorio virtual. ---ABSTRACT---This document describes the design and implementation of virtual exercise that is part of a practice that is performed in a virtual biotechnology laboratory, the adaptation of this phase to high-school students and finally, the adaptation of laboratory for a multilingual environment. In this practice a tree is genetically modified to give it resistance to diseases produced by fungi. Specifically, the exercise or phase developed consists in introducing in the plasmid a gene amplified by PCR in the previous phase. The adaptation for high-school students will motivate to new students about biotechnology. And the adapting to the multilingual environment will allow several students, such as Erasmus, to do the practice in different languages simultaneously. We analyzed the OpenSimulator platform and the graphic viewers to visit and develop the virtual world. This tool is used for creating the virtual environment. Because of the fact that the project takes a starting point a laboratory with some parts already developed, we have included a description with information related to the laboratory to better understand the work carried out in this project. Finally, this document presents the models and specifications for the extension of the virtual laboratory.

Una propuesta de modelado del estudiante basada en ontologías y diagnóstico pedagógico-cognitivo no monótono

Los recientes avances tecnológicos han encontrado un potencial campo de explotación en la educación asistida por computador. A finales de los años 90 surgió un nuevo campo de investigación denominado Entornos Virtuales Inteligentes para el Entrenamiento y/o Enseñanza (EVIEs), que combinan dos áreas de gran complejidad: Los Entornos Virtuales (EVs) y los Sistemas de Tutoría Inteligente (STIs). De este modo, los beneficios de los entornos 3D (simulación de entornos de alto riesgo o entornos de difícil uso, etc.) pueden combinarse con aquéllos de un STIs (personalización de materias y presentaciones, adaptación de la estrategia de tutoría a las necesidades del estudiante, etc.) para proporcionar soluciones educativas/de entrenamiento con valores añadidos. El Modelo del Estudiante, núcleo de un SIT, representa el conocimiento y características del estudiante, y refleja el proceso de razonamiento del estudiante. Su complejidad es incluso superior cuando los STIs se aplican a EVs porque las nuevas posibilidades de interacción proporcionadas por estos entornos deben considerarse como nuevos elementos de información clave para el modelado del estudiante, incidiendo en todo el proceso educativo: el camino seguido por el estudiante durante su navegación a través de escenarios 3D; el comportamiento no verbal tal como la dirección de la mirada; nuevos tipos de pistas e instrucciones que el módulo de tutoría puede proporcionar al estudiante; nuevos tipos de preguntas que el estudiante puede formular, etc. Por consiguiente, es necesario que la estructura de los STIs, embebida en el EVIE, se enriquezca con estos aspectos, mientras mantiene una estructura clara, estructurada, y bien definida. La mayoría de las aproximaciones al Modelo del Estudiante en STIs y en IVETs no consideran una taxonomía de posibles conocimientos acerca del estudiante suficientemente completa. Además, la mayoría de ellas sólo tienen validez en ciertos dominios o es difícil su adaptación a diferentes STIs. Para vencer estas limitaciones, hemos propuesto, en el marco de esta tesis doctoral, un nuevo mecanismo de Modelado del Estudiante basado en la Ingeniería Ontológica e inspirado en principios pedagógicos, con un modelo de datos sobre el estudiante amplio y flexible que facilita su adaptación y extensión para diferentes STIs y aplicaciones de aprendizaje, además de un método de diagnóstico con capacidades de razonamiento no monótono. El método de diagnóstico es capaz de inferir el estado de los objetivos de aprendizaje contenidos en el SIT y, a partir de él, el estado de los conocimientos del estudiante durante su proceso de aprendizaje. La aproximación almodelado del estudiante propuesta ha sido implementada e integrada en un agente software (el agente de modelado del estudiante) dentro de una plataforma software existente para el desarrollo de EVIEs denominadaMAEVIF. Esta plataforma ha sido diseñada para ser fácilmente configurable para diferentes aplicaciones de aprendizaje. El modelado del estudiante presentado ha sido implementado e instanciado para dos tipos de entornos de aprendizaje: uno para aprendizaje del uso de interfaces gráficas de usuario en una aplicación software y para un Entorno Virtual para entrenamiento procedimental. Además, se ha desarrollado una metodología para guiar en la aplicación del esta aproximación de modelado del estudiante a cada sistema concreto.---ABSTRACT---Recent technological advances have found a potential field of exploitation in computeraided education. At the end of the 90’s a new research field emerged, the so-called Intelligent Virtual Environments for Training and/or Education (IVETs), which combines two areas of great complexity: Virtual Environments (VE) and Intelligent Tutoring Systems (ITS). In this way, the benefits of 3D environments (simulation of high risk or difficult-to-use environments, etc.) may be combined with those of an ITS (content and presentation customization, adaptation of the tutoring strategy to the student requirements, etc.) in order to provide added value educational/training solutions. The StudentModel, core of an ITS, represents the student’s knowledge and characteristics, and reflects the student’s reasoning process. Its complexity is even higher when the ITSs are applied on VEs because the new interaction possibilities offered by these environments must be considered as new key information pieces for student modelling, impacting all the educational process: the path followed by the student during their navigation through 3D scenarios; non-verbal behavior such as gaze direction; new types of hints or instructions that the tutoring module can provide to the student; new question types that the student can ask, etc. Thus, it is necessary for the ITS structure, which is embedded in the IVET, to be enriched by these aspects, while keeping a clear, structured and well defined architecture. Most approaches to SM on ITSs and IVETs don’t consider a complete enough taxonomy of possible knowledge about the student. In addition, most of them have validity only in certain domains or they are hard to be adapted for different ITSs. In order to overcome these limitations, we have proposed, in the framework of this doctoral research project, a newStudentModeling mechanism that is based onOntological Engineering and inspired on pedagogical principles, with a wide and flexible data model about the student that facilitates its adaptation and extension to different ITSs and learning applications, as well as a rich diagnosis method with non-monotonic reasoning capacities. The diagnosis method is able to infer the state of the learning objectives encompassed by the ITS and, fromit, the student’s knowledge state during the student’s process of learning. The proposed student modelling approach has been implemented and integrated in a software agent (the student modeling agent) within an existing software platform for the development of IVETs called MAEVIF. This platform was designed to be easily configurable for different learning applications. The proposed student modeling has been implemented and it has been instantiated for two types of learning environments: one for learning to use the graphical user interface of a software application and a Virtual Environment for procedural training. In addition, a methodology to guide on the application of this student modeling approach to each specific system has been developed.

Definición, diseño e implementación de métricas de usuario final sobre componentes web en el lado Front-end, mediante Google Analytics

La web ha evolucionado hacia la participación en la creación de contenido tanto por desarrolladores expertos como por usuarios finales sin un gran conocimiento en esta área. A pesar de que su uso es igual de válido y funcional, las diferencias entre la calidad de los productos desarrollados por ambos puede llegar a ser considerable. Esta característica se observa con mayor claridad cuando se analizan los web components. El trabajo consiste en el desarrollo de un entorno capaz de recoger las métricas de calidad de los componentes, basadas en la interacción con ellos por parte de los usuarios. A partir de las métricas obtenidas, se determinará su calidad para realizar una mejora de la misma, en función de las características valoradas. La selección de las métricas se realiza mediante un estudio de las características que definen a un componente, y permiten ser analizadas. Para poder llevar a cabo la construcción del portal, se ha descrito un prototipo capaz de proporcionar un sistema para permitir que los componentes intercambien información entre ellos. El modelo ha sido integrado en los componentes que se han de evaluar para obtener nuevas métricas sobre esta característica. Se ha desarrollado un dashboard que permite la interacción sin limitaciones de los usuarios con los componentes, facilitándoles un sistema para conectar componentes, utilizando para ello el sistema previamente descrito. Como conclusión del trabajo, se puede observar la necesidad de integrar los componentes web en un entorno real para poder determinar su calidad. Debido a que la calidad está determinada por los usuarios que consumen los componentes, se ha de contar con su opinión en la cuantificación de la misma.---ABSTRACT---Recently, the web has evolved to the collaboration between professional developers and end users with limited knowledge to create web content. Although both solutions are correct and functional, the differences in the quality between them can be appreciable. This feature is shown clearly when the web components are analyzed. The work is composed of the development of a virtual environment which is able to pick the quality measures of the components, based on the interaction between these components and the user. The measures are the starting point to decide the quality, and improve them with the rated measures. The measures selection is done through a study of the main features of a component. This selection can be analyzed. In order to create the website, a prototype has been specified to provide a system in which the components can be trade information between them. The interconnection model has been integrated in the components to evaluate. A dashboard has been developed to allow users interacting with the components without rules, making them possible connecting components through the model. The main conclusion of the work is the necessity of integrating web components in a real environment to decide their quality. Due to the fact that the quality is measured in terms of the rate of the users, it is a must to give them the main roles in the establishment of that quality.

Modelado y Evaluación de Entornos Virtuales Interactivos para Rehabilitación Cognitiva en Daño Cerebral

El Daño Cerebral (DC) se refiere a cualquier lesión producida en el cerebro y que afecta a su funcionalidad. Se ha convertido en una de las principales causas de discapacidad neurológica de las sociedades desarrolladas. Hasta la más sencilla de las actividades y acciones que realizamos en nuestro día a día involucran a los procesos cognitivos. Por ello, la alteración de las funciones cognitivas como consecuencia del DC, limita no sólo la calidad de vida del paciente sino también la de las persona de su entorno. La rehabilitación cognitiva trata de aumentar la autonomía y calidad de vida del paciente minimizando o compensando los desórdenes funciones causados por el episodio de DC. La plasticidad cerebral es una propiedad intrínseca al sistema nervioso humano por la que en función a la experiencia se crean nuevos patrones de conectividad. El propósito de la neurorrehabilitación es precisamente modular esta propiedad intrínseca a partir de ejercicios específicos, los cuales podrían derivar en la recuperación parcial o total de las funciones afectadas. La incorporación de la tecnología a las terapias de rehabilitación ha permitido desarrollar nuevas metodologías de trabajo. Esto ha ayudado a hacer frente a las dificultades de la rehabilitación que los procesos tradicionales no logran abarcar. A pesar del gran avance realizado en los Ãoltimos años, todavía existen debilidades en el proceso de rehabilitación; por ejemplo, la trasferencia a la vida real de las habilidades logradas durante la terapia de rehabilitación, así como su generalización a otras actividades cotidianas. Los entornos virtuales pueden reproducir situaciones cotidianas. Permiten simular, de forma controlada, los requisitos conductuales que encontramos en la vida real. En un contexto terapéutico, puede ser utilizado por el neuropsicólogo para corregir en el paciente comportamientos patológicos no deseados, realizar intervenciones terapéuticas sobre Actividades de Vida Diaria que estimulen conductas adaptativas. A pesar de que las tecnologías actuales tienen potencial suficiente para aportar nuevos beneficios al proceso de rehabilitación, existe cierta reticencia a su incorporación a la clínica diaria. A día de hoy, no se ha podido demostrar que su uso aporte una mejorar significativa con respecto a otro tipo de intervención; en otras palabras, no existe evidencia científica de la eficacia del uso de entornos virtuales interactivos en rehabilitación. En este contexto, la presente Tesis Doctoral trata de abordar los aspectos que mantienen a los entornos virtuales interactivos al margen de la rutina clínica diaria. Se estudian las diferentes etapas del proceso de rehabilitación cognitiva relacionado con la integración y uso de estos entornos: diseño de las actividades, su implementación en el entorno virtual, y finalmente la ejecución por el paciente y análisis de los respectivos datos. Por tanto, los bloques en los que queda dividido el trabajo de investigación expuesto en esta memoria son: 1. Diseño de las AVD. La definición y configuración de los elementos que componen la AVD permite al terapeuta diseñar estrategias de intervención terapéutica para actuar sobre el comportamiento del paciente durante la ejecución de la actividad. En esta parte de la tesis se pretende formalizar el diseño de las AVD de tal forma que el terapeuta pueda explotar el potencial tecnológico de los entornos virtuales interactivos abstrayéndose de la complejidad implícita a la tecnología. Para hacer viable este planteamiento se propone una metodología que permita modelar la definición de las AVD, representar el conocimiento implícito en ellas, y asistir al neuropsicólogo durante el proceso de diseño de la intervención clínica. 2. Entorno virtual interactivo. El gran avance tecnológico producido durante los Ãoltimos años permite reproducir AVD interactivas en un contexto de uso clínico. El objetivo perseguido en esta parte de la Tesis es el de extraer las características potenciales de esta solución tecnológica y aplicarla a las necesidades y requisitos de la rehabilitación cognitiva. Se propone el uso de la tecnología de Vídeo Interactivo para el desarrollo de estos entornos virtuales. Para la evaluación de la misma se realiza un estudio experimental dividido en dos fases con la participación de sujetos sanos y pacientes, donde se valora su idoneidad para ser utilizado en terapias de rehabilitación cognitiva. 3. Monitorización de las AVD. El uso de estos entornos virtuales interactivos expone al paciente ante una gran cantidad de estímulos e interacciones. Este hecho requiere de instrumentos de monitorización avanzado que aporten al terapeuta información objetiva sobre el comportamiento del paciente, lo que le podría permitir por ejemplo evaluar la eficacia del tratamiento. En este apartado se propone el uso de métricas basadas en la atención visual y la interacción con el entorno para conocer datos sobre el comportamiento del paciente durante la AVD. Se desarrolla un sistema de monitorización integrado con el entorno virtual que ofrece los instrumentos necesarios para la evaluación de estas métricas para su uso clínico. La metodología propuesta ha permitido diseñar una AVD basada en la definición de intervenciones terapéuticas. Posteriormente esta AVD has sido implementada mediante la tecnología de vídeo interactivo, creando así el prototipo de un entorno virtual para ser utilizado por pacientes con déficit cognitivo. Los resultados del estudio experimental mediante el cual ha sido evaluado demuestran la robustez y usabilidad del sistema, así como su capacidad para intervenir sobre el comportamiento del paciente. El sistema monitorización que ha sido integrado con el entorno virtual aporta datos objetivos sobre el comportamiento del paciente durante la ejecución de la actividad. Los resultados obtenidos permiten contrastar las hipótesis de investigación planteadas en la Tesis Doctoral, aportando soluciones que pueden ayudar a la integración de los entornos virtuales interactivos en la rutina clínica. Esto abre una nueva vía de investigación y desarrollo que podría suponer un gran progreso y mejora en los procesos de neurorrehabilitación cognitiva en daño cerebral. ABSTRACT Brain injury (BI) refers to medical conditions that occur in the brain, altering its function. It becomes one of the main neurological disabilities in the developed society. Cognitive processes determine individual performance in Activities of Daily Living (ADL), thus, the cognitive disorders after BI result in a loss of autonomy and independence, affecting the patient’s quality of life. Cognitive rehabilitation seeks to increase patients’ autonomy and quality of life minimizing or compensating functional disorders showed by BI patients. Brain plasticity is an intrinsic property of the human nervous system whereby its structure is changed depending on experience. Neurorehabilitation pursuits a precise modulation of this intrinsic property, based on specific exercises to induce functional changes, which could result in partial or total recovery of the affected functions. The new methodologies that can be approached by applying technologies to the rehabilitation process, permit to deal with the difficulties which are out of the scope of the traditional rehabilitation. Despite this huge breakthrough, there are still weaknesses in the rehabilitation process, such as the transferring to the real life those skills reached along the therapy, and its generalization to others daily activities. Virtual environments reproduce daily situations. Behavioural requirements which are similar to those we perceive in real life, are simulated in a controlled way. In these virtual environments the therapist is allowed to interact with patients without even being present, inhibiting unsuitable behaviour patterns, stimulating correct answers throughout the simulation and enhancing stimuli with supplementary information when necessary. Despite the benefits which could be brought to the cognitive rehabilitation by applying the potential of the current technologies, there are barriers for widespread use of interactive virtual environments in clinical routine. At present, the evidence that these technologies bring a significant improvement to the cognitive therapies is limited. In other words, there is no evidence about the efficacy of using virtual environments in rehabilitation. In this context, this work aims to address those issues which keep the virtual environments out of the clinical routine. The stages of the cognitive rehabilitation process, which are related with the use and integration of these environments, are analysed: activities design, its implementation in the virtual environment, and the patient’s performance and the data analysis. Hence, the thesis is comprised of the main chapters that are listed below: 1. ADL Design.Definition and configuration of the elements which comprise the ADL allow the therapist to design intervention strategies to influence over the patient behaviour along the activity performance. This chapter aims to formalise the AVD design in order to help neuropsychologists to make use of the interactive virtual environments’ potential but isolating them from the complexity of the technology. With this purpose a new methodology is proposed as an instrument to model the ADL definition, to manage its implied knowledge and to assist the clinician along the design process of the therapeutic intervention. 2. Interactive virtual environment. Continuous advancements make the technology feasible for re-creating rehabilitation therapies based on ADL. The goal of this stage is to analyse the main features of virtual environments in order to apply them according to the cognitive rehabilitation’s requirements. The interactive video is proposed as the technology to develop virtual environments. Experimental study is carried out to assess the suitability of the interactive video to be used by cognitive rehabilitation. 3. ADL monitoring system. This kind of virtual environments bring patients in front lots of stimuli and interactions. Thus, advanced monitoring instruments are needed to provide therapist with objective information about patient’s behaviour. This thesis chapter propose the use of metrics rely on visual patients’ visual attention and their interactions with the environment. A monitoring system has been developed and integrated with the interactive video-based virtual environment, providing neuropsychologist with the instruments to evaluate the clinical force of this metrics. Therapeutic interventions-based ADL has been designed by using the proposed methodology. Interactive video technology has been used to develop the ADL, resulting in a virtual environment prototype to be use by patients who suffer a cognitive deficits. An experimental study has been performed to evaluate the virtual environment, whose overcomes show the usability and solidity of the system, and also its capacity to have influence over patient’s behaviour. The monitoring system, which has been embedded in the virtual environment, provides objective information about patients’ behaviour along their activity performance. Research hypothesis of the Thesis are proven by the obtained results. They could help to incorporate the interactive virtual environments in the clinical routine. This may be a significant step forward to enhance the cognitive neurorehabilitation processes in brain injury.

Managing Industrial Simulator Visual Databases Using Geographic Information Systems

Geographic Information Systems are developed to handle enormous volumes of data and are equipped with numerous functionalities intended to capture, store, edit, organise, process and analyse or represent the geographically referenced information. On the other hand, industrial simulators for driver training are real-time applications that require a virtual environment, either geospecific, geogeneric or a combination of the two, over which the simulation programs will be run. In the final instance, this environment constitutes a geographic location with its specific characteristics of geometry, appearance, functionality, topography, etc. The set of elements that enables the virtual simulation environment to be created and in which the simulator user can move, is usually called the Visual Database (VDB). The main idea behind the work being developed approaches a topic that is of major interest in the field of industrial training simulators, which is the problem of analysing, structuring and describing the virtual environments to be used in large driving simulators. This paper sets out a methodology that uses the capabilities and benefits of Geographic Information Systems for organising, optimising and managing the visual Database of the simulator and for generally enhancing the quality and performance of the simulator.

An Analysis of the Influence of Students´ Technological Culture on Their Technology

decade has raised the interest among the research community on the acceptance and use of these systems by both teachers and students. At first, the implementation of LMS was based on their technical design and the adaptation of the learning processes to the virtual environment, neglecting students’ characteristics when the systems were deployed, which led to expensive and failing implementations. The Unified Theory of Acceptance and Use of Technology (UTAUT) proposes a framework which allows the study of the acceptance and use of technology that takes into consideration the students’ characteristics and how they affect the acceptance and the degree of use of educational technology. This study questions the role of the user’s attitude towards use of LMS and uses the UTAUT to examine the moderating effect of technological culture in the adoption of LMS in Spain. The results from the comparison and analysis of three different models confirm the relevance of attitude towards use as an antecedent of intention to use the system, as well as the important moderating effect of gender and technological culture. The discussion of results suggests the need for a more in-depth analysis and interrelations of cultural dimensions in the adoption of educational technologies and learning management systems

Generación y Gestión Optimizadas de la Base de Datos de un Visual para su Implementación en un Simulador de Formación

Los Sistemas de Información Geográfica están desarrollados para gestionar grandes volúmenes de datos, y disponen de numerosas funcionalidades orientadas a la captura, almacenamiento, edición, organización, procesado, análisis, o a la representación de información geográficamente referenciada. Por otro lado, los simuladores industriales para entrenamiento en tareas de conducción son aplicaciones en tiempo real que necesitan de un entorno virtual, ya sea geoespecífico, geogenérico, o combinación de ambos tipos, sobre el cual se ejecutarán los programas propios de la simulación. Este entorno, en última instancia, constituye un lugar geográfico, con sus características específicas geométricas, de aspecto, funcionales, topológicas, etc. Al conjunto de elementos que permiten la creación del entorno virtual de simulación dentro del cual se puede mover el usuario del simulador se denomina habitualmente Base de Datos del Visual (BDV). La idea principal del trabajo que se desarrolla aborda un tema del máximo interés en el campo de los simuladores industriales de formación, como es el problema que presenta el análisis, la estructuración, y la descripción de los entornos virtuales a emplear en los grandes simuladores de conducción. En este artículo se propone una metodología de trabajo en la que se aprovechan las capacidades y ventajas de los Sistemas de Información Geográfica para organizar, optimizar y gestionar la base de datos visual del simulador, y para mejorar la calidad y el rendimiento del simulador en general. ABSTRACT Geographic Information Systems are developed to handle enormous volumes of data and are equipped with numerous functionalities intended to capture, store, edit, organise, process and analyse or represent the geographically referenced information. On the other hand, industrial simulators for driver training are real-time applications that require a virtual environment, either geospecific, geogeneric or a combination of the two, over which the simulation programs will be run. In the final instance, this environment constitutes a geographic location with its specific characteristics of geometry, appearance, functionality, topography, etc. The set of elements that enables the virtual simulation environment to be created and in which the simulator user can move, is usually called the Visual Database (VDB). The main idea behind the work being developed approaches a topic that is of major interest in the field of industrial training simulators, which is the problem of analysing, structuring and describing the virtual environments to be used in large driving simulators. This paper sets out a methodology that uses the capabilities and benefits of Geographic Information Systems for organising, optimising and managing the visual Database of the simulator and for generally enhancing the quality and performance of the simulator.

Strengthening communication skills in an innovative context of engineering project management learning

This document presents an innovative, formal educational initiative that is aimed at enhancing the development of engineering students’ specific competences when studying Project Management (PM) subject. The framework of the experience combines (1) theoretical concepts, (2) the development of a real-case project carried out by multidisciplinary groups of three different universities, (3) the use of software web 2.0 tools and (4) group and individual assignments of students that play different roles (project managers and team members). Under this scenario, the study focuses on monitoring the communication competence in the ever growing PM virtual environment. Factors such as corporal language, technical means, stage, and PM specific vocabulary among others have been considered in order to assess the students’ performance on this issue. As a main contribution, the paper introduces an ad-hoc rubric that, based on previous investigations, has been adapted and tested for the first time to this new and specific context. Additionally, the research conducted has provided some interesting findings that suggest further actions to improve and better define future rubrics, oriented to communication or even other competences. As specific PM subject concerns, it has been detected that students playing the role of Project Managers strengthen their competences more than those ones that play the role of Team Members. It has also been detected that students have more difficulty assimilating concepts related to risk and quality management. However those concepts related with scope, time or cost areas of knowledge have been better assimilated by the students.

Una asignatura on-line de Historia de los Algoritmos

This paper describes the objectives, contents learning methodology and results of an on-line course about History of Algorithms for engineering students of the Polytechnic University of Madrid. This course is conducted in a virtual environment based on Moodle, with an educational model centered at student which includes a detailed planning of learning activities. . Our experience indicates that this subject is is highly motivating for students and the virtual environment facilitates competencies development.