Contributions to the contextualization of human-machine spoken interaction systems

The design and development of spoken interaction systems has been a thoroughly studied research scope for the last decades. The aim is to obtain systems with the ability to interact with human agents with a high degree of naturalness and efficiency, allowing them to carry out the actions they desire using speech, as it is the most natural means of communication between humans. To achieve that degree of naturalness, it is not enough to endow systems with the ability to accurately understand the user’s utterances and to properly react to them, even considering the information provided by the user in his or her previous interactions. The system has also to be aware of the evolution of the conditions under which the interaction takes place, in order to act the most coherent way as possible at each moment. Consequently, one of the most important features of the system is that it has to be context-aware. This context awareness of the system can be reflected in the modification of the behaviour of the system taking into account the current situation of the interaction. For instance, the system should decide which action it has to carry out, or the way to perform it, depending on the user that requests it, on the way that the user addresses the system, on the characteristics of the environment in which the interaction takes place, and so on. In other words, the system has to adapt its behaviour to these evolving elements of the interaction. Moreover that adaptation has to be carried out, if possible, in such a way that the user: i) does not perceive that the system has to make any additional effort, or to devote interaction time to perform tasks other than carrying out the requested actions, and ii) does not have to provide the system with any additional information to carry out the adaptation, which could imply a lesser efficiency of the interaction, since users should devote several interactions only to allow the system to become adapted. In the state-of-the-art spoken dialogue systems, researchers have proposed several disparate strategies to adapt the elements of the system to different conditions of the interaction (such as the acoustic characteristics of a specific user’s speech, the actions previously requested, and so on). Nevertheless, to our knowledge there is not any consensus on the procedures to carry out these adaptation. The approaches are to an extent unrelated from one another, in the sense that each one considers different pieces of information, and the treatment of that information is different taking into account the adaptation carried out. In this regard, the main contributions of this Thesis are the following ones: Definition of a contextualization framework. We propose a unified approach that can cover any strategy to adapt the behaviour of a dialogue system to the conditions of the interaction (i.e. the context). In our theoretical definition of the contextualization framework we consider the system’s context as all the sources of variability present at any time of the interaction, either those ones related to the environment in which the interaction takes place, or to the human agent that addresses the system at each moment. Our proposal relies on three aspects that any contextualization approach should fulfill: plasticity (i.e. the system has to be able to modify its behaviour in the most proactive way taking into account the conditions under which the interaction takes place), adaptivity (i.e. the system has also to be able to consider the most appropriate sources of information at each moment, both environmental and user- and dialogue-dependent, to effectively adapt to the conditions aforementioned), and transparency (i.e. the system has to carry out the contextualizaton-related tasks in such a way that the user neither perceives them nor has to do any effort in providing the system with any information that it needs to perform that contextualization). Additionally, we could include a generality aspect to our proposed framework: the main features of the framework should be easy to adopt in any dialogue system, regardless of the solution proposed to manage the dialogue. Once we define the theoretical basis of our contextualization framework, we propose two cases of study on its application in a spoken dialogue system. We focus on two aspects of the interaction: the contextualization of the speech recognition models, and the incorporation of user-specific information into the dialogue flow. One of the modules of a dialogue system that is more prone to be contextualized is the speech recognition system. This module makes use of several models to emit a recognition hypothesis from the user’s speech signal. Generally speaking, a recognition system considers two types of models: an acoustic one (that models each of the phonemes that the recognition system has to consider) and a linguistic one (that models the sequences of words that make sense for the system). In this work we contextualize the language model of the recognition system in such a way that it takes into account the information provided by the user in both his or her current utterance and in the previous ones. These utterances convey information useful to help the system in the recognition of the next utterance. The contextualization approach that we propose consists of a dynamic adaptation of the language model that is used by the recognition system. We carry out this adaptation by means of a linear interpolation between several models. Instead of training the best interpolation weights, we make them dependent on the conditions of the dialogue. In our approach, the system itself will obtain these weights as a function of the reliability of the different elements of information available, such as the semantic concepts extracted from the user’s utterance, the actions that he or she wants to carry out, the information provided in the previous interactions, and so on. One of the aspects more frequently addressed in Human-Computer Interaction research is the inclusion of user specific characteristics into the information structures managed by the system. The idea is to take into account the features that make each user different from the others in order to offer to each particular user different services (or the same service, but in a different way). We could consider this approach as a user-dependent contextualization of the system. In our work we propose the definition of a user model that contains all the information of each user that could be potentially useful to the system at a given moment of the interaction. In particular we will analyze the actions that each user carries out throughout his or her interaction. The objective is to determine which of these actions become the preferences of that user. We represent the specific information of each user as a feature vector. Each of the characteristics that the system will take into account has a confidence score associated. With these elements, we propose a probabilistic definition of a user preference, as the action whose likelihood of being addressed by the user is greater than the one for the rest of actions. To include the user dependent information into the dialogue flow, we modify the information structures on which the dialogue manager relies to retrieve information that could be needed to solve the actions addressed by the user. Usage preferences become another source of contextual information that will be considered by the system towards a more efficient interaction (since the new information source will help to decrease the need of the system to ask users for additional information, thus reducing the number of turns needed to carry out a specific action). To test the benefits of the contextualization framework that we propose, we carry out an evaluation of the two strategies aforementioned. We gather several performance metrics, both objective and subjective, that allow us to compare the improvements of a contextualized system against the baseline one. We will also gather the user’s opinions as regards their perceptions on the behaviour of the system, and its degree of adaptation to the specific features of each interaction. Resumen El diseño y el desarrollo de sistemas de interacción hablada ha sido objeto de profundo estudio durante las pasadas décadas. El propósito es la consecución de sistemas con la capacidad de interactuar con agentes humanos con un alto grado de eficiencia y naturalidad. De esta manera, los usuarios pueden desempeñar las tareas que deseen empleando la voz, que es el medio de comunicación más natural para los humanos. A fin de alcanzar el grado de naturalidad deseado, no basta con dotar a los sistemas de la abilidad de comprender las intervenciones de los usuarios y reaccionar a ellas de manera apropiada (teniendo en consideración, incluso, la información proporcionada en previas interacciones). Adicionalmente, el sistema ha de ser consciente de las condiciones bajo las cuales transcurre la interacción, así como de la evolución de las mismas, de tal manera que pueda actuar de la manera más coherente en cada instante de la interacción. En consecuencia, una de las características primordiales del sistema es que debe ser sensible al contexto. Esta capacidad del sistema de conocer y emplear el contexto de la interacción puede verse reflejada en la modificación de su comportamiento debida a las características actuales de la interacción. Por ejemplo, el sistema debería decidir cuál es la acción más apropiada, o la mejor manera de llevarla a término, dependiendo del usuario que la solicita, del modo en el que lo hace, etcétera. En otras palabras, el sistema ha de adaptar su comportamiento a tales elementos mutables (o dinámicos) de la interacción. Dos características adicionales son requeridas a dicha adaptación: i) el usuario no ha de percibir que el sistema dedica recursos (temporales o computacionales) a realizar tareas distintas a las que aquél le solicita, y ii) el usuario no ha de dedicar esfuerzo alguno a proporcionar al sistema información adicional para llevar a cabo la interacción. Esto último implicaría una menor eficiencia de la interacción, puesto que los usuarios deberían dedicar parte de la misma a proporcionar información al sistema para su adaptación, sin ningún beneficio inmediato. En los sistemas de diálogo hablado propuestos en la literatura, se han propuesto diferentes estrategias para llevar a cabo la adaptación de los elementos del sistema a las diferentes condiciones de la interacción (tales como las características acústicas del habla de un usuario particular, o a las acciones a las que se ha referido con anterioridad). Sin embargo, no existe una estrategia fija para proceder a dicha adaptación, sino que las mismas no suelen guardar una relación entre sí. En este sentido, cada una de ellas tiene en cuenta distintas fuentes de información, la cual es tratada de manera diferente en función de las características de la adaptación buscada. Teniendo en cuenta lo anterior, las contribuciones principales de esta Tesis son las siguientes: Definición de un marco de contextualización. Proponemos un criterio unificador que pueda cubrir cualquier estrategia de adaptación del comportamiento de un sistema de diálogo a las condiciones de la interacción (esto es, el contexto de la misma). En nuestra definición teórica del marco de contextualización consideramos el contexto del sistema como todas aquellas fuentes de variabilidad presentes en cualquier instante de la interacción, ya estén relacionadas con el entorno en el que tiene lugar la interacción, ya dependan del agente humano que se dirige al sistema en cada momento. Nuestra propuesta se basa en tres aspectos que cualquier estrategia de contextualización debería cumplir: plasticidad (es decir, el sistema ha de ser capaz de modificar su comportamiento de la manera más proactiva posible, teniendo en cuenta las condiciones en las que tiene lugar la interacción), adaptabilidad (esto es, el sistema ha de ser capaz de considerar la información oportuna en cada instante, ya dependa del entorno o del usuario, de tal manera que adecúe su comportamiento de manera eficaz a las condiciones mencionadas), y transparencia (que implica que el sistema ha de desarrollar las tareas relacionadas con la contextualización de tal manera que el usuario no perciba la manera en que dichas tareas se llevan a cabo, ni tampoco deba proporcionar al sistema con información adicional alguna). De manera adicional, incluiremos en el marco propuesto el aspecto de la generalidad: las características del marco de contextualización han de ser portables a cualquier sistema de diálogo, con independencia de la solución propuesta en los mismos para gestionar el diálogo. Una vez hemos definido las características de alto nivel de nuestro marco de contextualización, proponemos dos estrategias de aplicación del mismo a un sistema de diálogo hablado. Nos centraremos en dos aspectos de la interacción a adaptar: los modelos empleados en el reconocimiento de habla, y la incorporación de información específica de cada usuario en el flujo de diálogo. Uno de los módulos de un sistema de diálogo más susceptible de ser contextualizado es el sistema de reconocimiento de habla. Este módulo hace uso de varios modelos para generar una hipótesis de reconocimiento a partir de la señal de habla. En general, un sistema de reconocimiento emplea dos tipos de modelos: uno acústico (que modela cada uno de los fonemas considerados por el reconocedor) y uno lingüístico (que modela las secuencias de palabras que tienen sentido desde el punto de vista de la interacción). En este trabajo contextualizamos el modelo lingüístico del reconocedor de habla, de tal manera que tenga en cuenta la información proporcionada por el usuario, tanto en su intervención actual como en las previas. Estas intervenciones contienen información (semántica y/o discursiva) que puede contribuir a un mejor reconocimiento de las subsiguientes intervenciones del usuario. La estrategia de contextualización propuesta consiste en una adaptación dinámica del modelo de lenguaje empleado en el reconocedor de habla. Dicha adaptación se lleva a cabo mediante una interpolación lineal entre diferentes modelos. En lugar de entrenar los mejores pesos de interpolación, proponemos hacer los mismos dependientes de las condiciones actuales de cada diálogo. El propio sistema obtendrá estos pesos como función de la disponibilidad y relevancia de las diferentes fuentes de información disponibles, tales como los conceptos semánticos extraídos a partir de la intervención del usuario, o las acciones que el mismo desea ejecutar. Uno de los aspectos más comúnmente analizados en la investigación de la Interacción Persona-Máquina es la inclusión de las características específicas de cada usuario en las estructuras de información empleadas por el sistema. El objetivo es tener en cuenta los aspectos que diferencian a cada usuario, de tal manera que el sistema pueda ofrecer a cada uno de ellos el servicio más apropiado (o un mismo servicio, pero de la manera más adecuada a cada usuario). Podemos considerar esta estrategia como una contextualización dependiente del usuario. En este trabajo proponemos la definición de un modelo de usuario que contenga toda la información relativa a cada usuario, que pueda ser potencialmente utilizada por el sistema en un momento determinado de la interacción. En particular, analizaremos aquellas acciones que cada usuario decide ejecutar a lo largo de sus diálogos con el sistema. Nuestro objetivo es determinar cuáles de dichas acciones se convierten en las preferencias de cada usuario. La información de cada usuario quedará representada mediante un vector de características, cada una de las cuales tendrá asociado un valor de confianza. Con ambos elementos proponemos una definición probabilística de una preferencia de uso, como aquella acción cuya verosimilitud es mayor que la del resto de acciones solicitadas por el usuario. A fin de incluir la información dependiente de usuario en el flujo de diálogo, llevamos a cabo una modificación de las estructuras de información en las que se apoya el gestor de diálogo para recuperar información necesaria para resolver ciertos diálogos. En dicha modificación las preferencias de cada usuario pasarán a ser una fuente adicional de información contextual, que será tenida en cuenta por el sistema en aras de una interacción más eficiente (puesto que la nueva fuente de información contribuirá a reducir la necesidad del sistema de solicitar al usuario información adicional, dando lugar en consecuencia a una reducción del número de intervenciones necesarias para llevar a cabo una acción determinada). Para determinar los beneficios de las aplicaciones del marco de contextualización propuesto, llevamos a cabo una evaluación de un sistema de diálogo que incluye las estrategias mencionadas. Hemos recogido diversas métricas, tanto objetivas como subjetivas, que nos permiten determinar las mejoras aportadas por un sistema contextualizado en comparación con el sistema sin contextualizar. De igual manera, hemos recogido las opiniones de los participantes en la evaluación acerca de su percepción del comportamiento del sistema, y de su capacidad de adaptación a las condiciones concretas de cada interacción.

New generation of human machine interfaces for controlling UAV through depth based gesture recognition

New forms of natural interactions between human operators and UAVs (Unmanned Aerial Vehicle) are demanded by the military industry to achieve a better balance of the UAV control and the burden of the human operator. In this work, a human machine interface (HMI) based on a novel gesture recognition system using depth imagery is proposed for the control of UAVs. Hand gesture recognition based on depth imagery is a promising approach for HMIs because it is more intuitive, natural, and non-intrusive than other alternatives using complex controllers. The proposed system is based on a Support Vector Machine (SVM) classifier that uses spatio-temporal depth descriptors as input features. The designed descriptor is based on a variation of the Local Binary Pattern (LBP) technique to efficiently work with depth video sequences. Other major consideration is the especial hand sign language used for the UAV control. A tradeoff between the use of natural hand signs and the minimization of the inter-sign interference has been established. Promising results have been achieved in a depth based database of hand gestures especially developed for the validation of the proposed system.

Combine use of Selected Schizosaccharomyces pombe and Lachancea thermotolerans Yeast Strains as an Alternative to the Traditional Malolactic Fermentation in Red Wine Production

Most red wines commercialized in the market use the malolactic fermentationprocess in order to ensure stability from a microbiological point of view. In this secondfermentation, malic acid is converted into L-lactic acid under controlled setups. Howeverthis process is not free from possible collateral effects that on some occasions produceoff-flavors, wine quality loss and human health problems. In warm viticulture regions suchas the south of Spain, the risk of suffering a deviation during the malolactic fermentationprocess increases due to the high must pH. This contributes to produce wines with highvolatile acidity and biogenic amine values. This manuscript develops a new red winemakingmethodology that consists of combining the use of two non-Saccharomyces yeast strains asan alternative to the traditional malolactic fermentation. In this method, malic acid is totallyconsumed by Schizosaccharomyces pombe, thus achieving the microbiological stabilizationobjective, while Lachancea thermotolerans produces lactic acid in order not to reduce andeven increase the acidity of wines produced from low acidity musts. This technique reducesthe risks inherent to the malolactic fermentation process when performed in warm regions.The result is more fruity wines that contain less acetic acid and biogenic amines than thetraditional controls that have undergone the classical malolactic fermentation.

Use of Biological Motion based Cues and Ecological Sounds in the Neurorehabilitation of Apraxia

Technological progress in the area of informatics and human interface platforms create a window of opportunities for the neurorehablitation of patients with motor impairments. The CogWatch project (www.cogwatch.eu) aims to create an intelligent assistance system to improve motor planning and execution in patients with apraxia during their daily activities. Due to the brain damage caused by cardiovascular incident these patients suffer from impairments in the ability to use tools, and to sequence actions during daily tasks (such as making breakfast). Based on the common coding theory (Hommel et al., 2001) and mirror neuron primate research (Rizzolatti et al., 2001) we aim to explore use of cues, which incorporate aspects of biological motion from healthy adults performing everyday tasks requiring tool use and ecological sounds linked to the action goal. We hypothesize that patients with apraxia will benefit from supplementary sensory information relevant to the task, which will reinforce the selection of the appropriate motor plan. Findings from this study determine the type of sensory guidance in the CogWatch interface. Rationale for the experimental design is presented and the relevant literature is discussed.

Improved walnut mass micropropagation through the combined use of phloroglucinol and FeEDDHA

Despite the socioeconomic importance of walnut trees, poor rooting and recalcitrance to in vitro culture have hampered the establishment of high-yield clonal plantations. To improve walnut micropropagation, we introduced several modifications to current methods and evaluated the effects on microshoot performance and acclimatization. Nine selected genotypes (13-year-old trees) of the commercial hybrid Juglans major 209 x J. regia were cultured in vitro on DKW-C medium supplemented with 4.4 µM BA and 50 µM IBA. A protocol was developed that relies on the use of 0.40 mM phloroglucinol during shoot multiplication, 0.20 mM previous root induction, and 6.81 mg/L Fe3+ (FeEDDHA). Moreover, the addition of 83.2 µM glucose during the root expression phase significantly improved plant survival during acclimatization. Phloroglucinol promoted microshoot elongation but inhibited rooting, especially at concentrations above 0.40 mM. Replacing FeEDTA by FeEDDHA diminished chlorotic symptoms and improved rooting, with up to 90% microshoots developing viable roots. Likewise, glucose was more efficient than sucrose or fructose in promoting plant survival. At the proposed working concentrations, neither glucose nor FeEDDHA caused any noticeable deleterious effect on walnut micropropagation. Microscopic analysis revealed the physical continuity between adventitious roots and stem pericycles. Analysis of leaf genomic DNA with eight polymorphic microsatellite markers was supportive of the clonal fidelity and genetic stability of the micropropagated material. Successful clonal plantations (over 5,800 ramets) have been established by applying this protocol.

Advanced morphometric techniques applied to the study of human brain anatomy

El desarrollo de las técnicas de imágenes por resonancia magnética han permitido el estudio y cuantificación, in vivo, de los cambios que ocurren en la morfología cerebral ligados a procesos tales como el neurodesarrollo, el envejecimiento, el aprendizaje o la enfermedad. Un gran número de métodos de morfometría han sido desarrollados con el fin de extraer la información contenida en estas imágenes y traducirla en indicadores de forma o tamaño, tales como el volumen o el grosor cortical; marcadores que son posteriormente empleados para encontrar diferencias estadísticas entre poblaciones de sujetos o realizar correlaciones entre la morfología cerebral y, por ejemplo, la edad o la severidad de determinada enfermedad. A pesar de la amplia variedad de biomarcadores y metodologías de morfometría, muchos estudios sesgan sus hipótesis, y con ello los resultados experimentales, al empleo de un número reducido de biomarcadores o a al uso de una única metodología de procesamiento. Con el presente trabajo se pretende demostrar la importancia del empleo de diversos métodos de morfometría para lograr una mejor caracterización del proceso que se desea estudiar. En el mismo se emplea el análisis de forma para detectar diferencias, tanto globales como locales, en la morfología del tálamo entre pacientes adolescentes con episodios tempranos de psicosis y adolescentes sanos. Los resultados obtenidos demuestran que la diferencia de volumen talámico entre ambas poblaciones de sujetos, previamente descrita en la literatura, se debe a una reducción del volumen de la región anterior-mediodorsal y del núcleo pulvinar del tálamo de los pacientes respecto a los sujetos sanos. Además, se describe el desarrollo de un estudio longitudinal, en sujetos sanos, que emplea simultáneamente distintos biomarcadores para la caracterización y cuantificación de los cambios que ocurren en la morfología de la corteza cerebral durante la adolescencia. A través de este estudio se revela que el proceso de “alisado” que experimenta la corteza cerebral durante la adolescencia es consecuencia de una disminución de la profundidad, ligada a un incremento en el ancho, de los surcos corticales. Finalmente, esta metodología es aplicada, en un diseño transversal, para el estudio de las causas que provocan el decrecimiento tanto del grosor cortical como del índice de girificación en adolescentes con episodios tempranos de psicosis. ABSTRACT The ever evolving sophistication of magnetic resonance image techniques continue to provide new tools to characterize and quantify, in vivo, brain morphologic changes related to neurodevelopment, senescence, learning or disease. The majority of morphometric methods extract shape or size descriptors such as volume, surface area, and cortical thickness from the MRI image. These morphological measurements are commonly entered in statistical analytic approaches for testing between-group differences or for correlations between the morphological measurement and other variables such as age, sex, or disease severity. A wide variety of morphological biomarkers are reported in the literature. Despite this wide range of potentially useful biomarkers and available morphometric methods, the hypotheses and findings of the grand majority of morphological studies are biased because reports assess only one morphometric feature and usually use only one image processing method. Throughout this dissertation biomarkers and image processing strategies are combined to provide innovative and useful morphometric tools for examining brain changes during neurodevelopment. Specifically, a shape analysis technique allowing for a fine-grained assessment of regional thalamic volume in early-onset psychosis patients and healthy comparison subjects is implemented. Results show that disease-related reductions in global thalamic volume, as previously described by other authors, could be particularly driven by a deficit in the anterior-mediodorsal and pulvinar thalamic regions in patients relative to healthy subjects. Furthermore, in healthy adolescents different cortical features are extracted and combined and their interdependency is assessed over time. This study attempts to extend current knowledge of normal brain development, specifically the largely unexplored relationship between changes of distinct cortical morphological measurements during adolescence. This study demonstrates that cortical flattening, present during adolescence, is produced by a combination of age-related increase in sulcal width and decrease in sulcal depth. Finally, this methodology is applied to a cross-sectional study, investigating the mechanisms underlying the decrease in cortical thickness and gyrification observed in psychotic patients with a disease onset during adolescence.