TALISMAN+: Intelligent System for Follow-Up and Promotion of Personal Autonomy

The TALISMAN+ project, financed by the Spanish Ministry of Science and Innovation, aims to research and demonstrate innovative solutions transferable to society which offer services and products based on information and communication technologies in order to promote personal autonomy in prevention and monitoring scenarios. It will solve critical interoperability problems among systems and emerging technologies in a context where heterogeneity brings about accessibility barriers not yet overcome and demanded by the scientific, technological or social-health settings.

Model-based Self-awareness Patterns for Autonomy

Los sistemas técnicos son cada vez más complejos, incorporan funciones más avanzadas, están más integrados con otros sistemas y trabajan en entornos menos controlados. Todo esto supone unas condiciones más exigentes y con mayor incertidumbre para los sistemas de control, a los que además se demanda un comportamiento más autónomo y fiable. La adaptabilidad de manera autónoma es un reto para tecnologías de control actualmente. El proyecto de investigación ASys propone abordarlo trasladando la responsabilidad de la capacidad de adaptación del sistema de los ingenieros en tiempo de diseño al propio sistema en operación. Esta tesis pretende avanzar en la formulación y materialización técnica de los principios de ASys de cognición y auto-consciencia basadas en modelos y autogestión de los sistemas en tiempo de operación para una autonomía robusta. Para ello el trabajo se ha centrado en la capacidad de auto-conciencia, inspirada en los sistemas biológicos, y se ha explorado la posibilidad de integrarla en la arquitectura de los sistemas de control. Además de la auto-consciencia, se han explorado otros temas relevantes: modelado funcional, modelado de software, tecnología de los patrones, tecnología de componentes, tolerancia a fallos. Se ha analizado el estado de la técnica en los ámbitos pertinentes para las cuestiones de la auto-consciencia y la adaptabilidad en sistemas técnicos: arquitecturas cognitivas, control tolerante a fallos, y arquitecturas software dinámicas y computación autonómica. El marco teórico de ASys existente de sistemas autónomos cognitivos ha sido adaptado para servir de base para este análisis de autoconsciencia y adaptación y para dar sustento conceptual al posterior desarrollo de la solución. La tesis propone una solución general de diseño para la construcción de sistemas autónomos auto-conscientes. La idea central es la integración de un meta-controlador en la arquitectura de control del sistema autónomo, capaz de percibir la estado funcional del sistema de control y, si es necesario, reconfigurarlo en tiempo de operación. Esta solución de metacontrol se ha formalizado en cuatro patrones de diseño: i) el Patrón Metacontrol, que define la integración de un subsistema de metacontrol, responsable de controlar al propio sistema de control a través de la interfaz proporcionada por su plataforma de componentes, ii) el patrón Bucle de Control Epistémico, que define un bucle de control cognitivo basado en el modelos y que se puede aplicar al diseño del metacontrol, iii) el patrón de Reflexión basada en Modelo Profundo propone una solución para construir el modelo ejecutable utilizado por el meta-controlador mediante una transformación de modelo a modelo a partir del modelo de ingeniería del sistema, y, finalmente, iv) el Patrón Metacontrol Funcional, que estructura el meta-controlador en dos bucles, uno para el control de la configuración de los componentes del sistema de control, y otro sobre éste, controlando las funciones que realiza dicha configuración de componentes; de esta manera las consideraciones funcionales y estructurales se desacoplan. La Arquitectura OM y el metamodelo TOMASys son las piezas centrales del marco arquitectónico desarrollado para materializar la solución compuesta de los patrones anteriores. El metamodelo TOMASys ha sido desarrollado para la representación de la estructura y su relación con los requisitos funcionales de cualquier sistema autónomo. La Arquitectura OM es un patrón de referencia para la construcción de una metacontrolador integrando los patrones de diseño propuestos. Este meta-controlador se puede integrar en la arquitectura de cualquier sistema control basado en componentes. El elemento clave de su funcionamiento es un modelo TOMASys del sistema decontrol, que el meta-controlador usa para monitorizarlo y calcular las acciones de reconfiguración necesarias para adaptarlo a las circunstancias en cada momento. Un proceso de ingeniería, complementado con otros recursos, ha sido elaborado para guiar la aplicación del marco arquitectónico OM. Dicho Proceso de Ingeniería OM define la metodología a seguir para construir el subsistema de metacontrol para un sistema autónomo a partir del modelo funcional del mismo. La librería OMJava proporciona una implementación del meta-controlador OM que se puede integrar en el control de cualquier sistema autónomo, independientemente del dominio de la aplicación o de su tecnología de implementación. Para concluir, la solución completa ha sido validada con el desarrollo de un robot móvil autónomo que incorpora un meta-controlador con la Arquitectura OM. Las propiedades de auto-consciencia y adaptación proporcionadas por el meta-controlador han sido validadas en diferentes escenarios de operación del robot, en los que el sistema era capaz de sobreponerse a fallos en el sistema de control mediante reconfiguraciones orquestadas por el metacontrolador. ABSTRACT Technical systems are becoming more complex, they incorporate more advanced functionalities, they are more integrated with other systems and they are deployed in less controlled environments. All this supposes a more demanding and uncertain scenario for control systems, which are also required to be more autonomous and dependable. Autonomous adaptivity is a current challenge for extant control technologies. The ASys research project proposes to address it by moving the responsibility for adaptivity from the engineers at design time to the system at run-time. This thesis has intended to advance in the formulation and technical reification of ASys principles of model-based self-cognition and having systems self-handle at runtime for robust autonomy. For that it has focused on the biologically inspired capability of self-awareness, and explored the possibilities to embed it into the very architecture of control systems. Besides self-awareness, other themes related to the envisioned solution have been explored: functional modeling, software modeling, patterns technology, components technology, fault tolerance. The state of the art in fields relevant for the issues of self-awareness and adaptivity has been analysed: cognitive architectures, fault-tolerant control, and software architectural reflection and autonomic computing. The extant and evolving ASys Theoretical Framework for cognitive autonomous systems has been adapted to provide a basement for this selfhood-centred analysis and to conceptually support the subsequent development of our solution. The thesis proposes a general design solution for building self-aware autonomous systems. Its central idea is the integration of a metacontroller in the control architecture of the autonomous system, capable of perceiving the functional state of the control system and reconfiguring it if necessary at run-time. This metacontrol solution has been formalised into four design patterns: i) the Metacontrol Pattern, which defines the integration of a metacontrol subsystem, controlling the domain control system through an interface provided by its implementation component platform, ii) the Epistemic Control Loop pattern, which defines a modelbased cognitive control loop that can be applied to the design of such a metacontroller, iii) the Deep Model Reflection pattern proposes a solution to produce the online executable model used by the metacontroller by model-to-model transformation from the engineering model, and, finally, iv) the Functional Metacontrol pattern, which proposes to structure the metacontroller in two loops, one for controlling the configuration of components of the controller, and another one on top of the former, controlling the functions being realised by that configuration; this way the functional and structural concerns become decoupled. The OM Architecture and the TOMASys metamodel are the core pieces of the architectural framework developed to reify this patterned solution. The TOMASys metamodel has been developed for representing the structure and its relation to the functional requirements of any autonomous system. The OM architecture is a blueprint for building a metacontroller according to the patterns. This metacontroller can be integrated on top of any component-based control architecture. At the core of its operation lies a TOMASys model of the control system. An engineering process and accompanying assets have been constructed to complete and exploit the architectural framework. The OM Engineering Process defines the process to follow to develop the metacontrol subsystem from the functional model of the controller of the autonomous system. The OMJava library provides a domain and application-independent implementation of an OM Metacontroller than can be used in the implementation phase of OMEP. Finally, the complete solution has been validated in the development of an autonomous mobile robot that incorporates an OM metacontroller. The functional selfawareness and adaptivity properties achieved thanks to the metacontrol system have been validated in different scenarios. In these scenarios the robot was able to overcome failures in the control system thanks to reconfigurations performed by the metacontroller.

Integration of multisensor hybrid reasoners to support personal autonomy in the smart home.

The deployment of the Ambient Intelligence (AmI) paradigm requires designing and integrating user-centered smart environments to assist people in their daily life activities. This research paper details an integration and validation of multiple heterogeneous sensors with hybrid reasoners that support decision making in order to monitor personal and environmental data at a smart home in a private way. The results innovate on knowledge-based platforms, distributed sensors, connected objects, accessibility and authentication methods to promote independent living for elderly people. TALISMAN+, the AmI framework deployed, integrates four subsystems in the smart home: (i) a mobile biomedical telemonitoring platform to provide elderly patients with continuous disease management; (ii) an integration middleware that allows context capture from heterogeneous sensors to program environment¿s reaction; (iii) a vision system for intelligent monitoring of daily activities in the home; and (iv) an ontologies-based integrated reasoning platform to trigger local actions and manage private information in the smart home. The framework was integrated in two real running environments, the UPM Accessible Digital Home and MetalTIC house, and successfully validated by five experts in home care, elderly people and personal autonomy.

Vision-Based Tracking, Odometry and Control for UAV Autonomy

El principal objetivo de este trabajo es proporcionar una solución en tiempo real basada en visión estéreo o monocular precisa y robusta para que un vehículo aéreo no tripulado (UAV) sea autónomo en varios tipos de aplicaciones UAV, especialmente en entornos abarrotados sin señal GPS. Este trabajo principalmente consiste en tres temas de investigación de UAV basados en técnicas de visión por computador: (I) visual tracking, proporciona soluciones efectivas para localizar visualmente objetos de interés estáticos o en movimiento durante el tiempo que dura el vuelo del UAV mediante una aproximación adaptativa online y una estrategia de múltiple resolución, de este modo superamos los problemas generados por las diferentes situaciones desafiantes, tales como cambios significativos de aspecto, iluminación del entorno variante, fondo del tracking embarullado, oclusión parcial o total de objetos, variaciones rápidas de posición y vibraciones mecánicas a bordo. La solución ha sido utilizada en aterrizajes autónomos, inspección de plataformas mar adentro o tracking de aviones en pleno vuelo para su detección y evasión; (II) odometría visual: proporciona una solución eficiente al UAV para estimar la posición con 6 grados de libertad (6D) usando únicamente la entrada de una cámara estéreo a bordo del UAV. Un método Semi-Global Blocking Matching (SGBM) eficiente basado en una estrategia grueso-a-fino ha sido implementada para una rápida y profunda estimación del plano. Además, la solución toma provecho eficazmente de la información 2D y 3D para estimar la posición 6D, resolviendo de esta manera la limitación de un punto de referencia fijo en la cámara estéreo. Una robusta aproximación volumétrica de mapping basada en el framework Octomap ha sido utilizada para reconstruir entornos cerrados y al aire libre bastante abarrotados en 3D con memoria y errores correlacionados espacialmente o temporalmente; (III) visual control, ofrece soluciones de control prácticas para la navegación de un UAV usando Fuzzy Logic Controller (FLC) con la estimación visual. Y el framework de Cross-Entropy Optimization (CEO) ha sido usado para optimizar el factor de escala y la función de pertenencia en FLC. Todas las soluciones basadas en visión en este trabajo han sido probadas en test reales. Y los conjuntos de datos de imágenes reales grabados en estos test o disponibles para la comunidad pública han sido utilizados para evaluar el rendimiento de estas soluciones basadas en visión con ground truth. Además, las soluciones de visión presentadas han sido comparadas con algoritmos de visión del estado del arte. Los test reales y los resultados de evaluación muestran que las soluciones basadas en visión proporcionadas han obtenido rendimientos en tiempo real precisos y robustos, o han alcanzado un mejor rendimiento que aquellos algoritmos del estado del arte. La estimación basada en visión ha ganado un rol muy importante en controlar un UAV típico para alcanzar autonomía en aplicaciones UAV. ABSTRACT The main objective of this dissertation is providing real-time accurate robust monocular or stereo vision-based solution for Unmanned Aerial Vehicle (UAV) to achieve the autonomy in various types of UAV applications, especially in GPS-denied dynamic cluttered environments. This dissertation mainly consists of three UAV research topics based on computer vision technique: (I) visual tracking, it supplys effective solutions to visually locate interesting static or moving object over time during UAV flight with on-line adaptivity approach and multiple-resolution strategy, thereby overcoming the problems generated by the different challenging situations, such as significant appearance change, variant surrounding illumination, cluttered tracking background, partial or full object occlusion, rapid pose variation and onboard mechanical vibration. The solutions have been utilized in autonomous landing, offshore floating platform inspection and midair aircraft tracking for sense-and-avoid; (II) visual odometry: it provides the efficient solution for UAV to estimate the 6 Degree-of-freedom (6D) pose using only the input of stereo camera onboard UAV. An efficient Semi-Global Blocking Matching (SGBM) method based on a coarse-to-fine strategy has been implemented for fast depth map estimation. In addition, the solution effectively takes advantage of both 2D and 3D information to estimate the 6D pose, thereby solving the limitation of a fixed small baseline in the stereo camera. A robust volumetric occupancy mapping approach based on the Octomap framework has been utilized to reconstruct indoor and outdoor large-scale cluttered environments in 3D with less temporally or spatially correlated measurement errors and memory; (III) visual control, it offers practical control solutions to navigate UAV using Fuzzy Logic Controller (FLC) with the visual estimation. And the Cross-Entropy Optimization (CEO) framework has been used to optimize the scaling factor and the membership function in FLC. All the vision-based solutions in this dissertation have been tested in real tests. And the real image datasets recorded from these tests or available from public community have been utilized to evaluate the performance of these vision-based solutions with ground truth. Additionally, the presented vision solutions have compared with the state-of-art visual algorithms. Real tests and evaluation results show that the provided vision-based solutions have obtained real-time accurate robust performances, or gained better performance than those state-of-art visual algorithms. The vision-based estimation has played a critically important role for controlling a typical UAV to achieve autonomy in the UAV application.

Evaluating sustainability and food security of peasant farming systems in Mesoamerican highlands

En las últimas décadas, la agricultura sostenible ha sido objeto de gran interés y debate académico, no sólo en términos conceptuales, sino también en términos metodológicos. La persistencia de la inseguridad alimentaria y el deterioro de los recursos naturales en muchas regiones del mundo, ha provocado el surgimiento de numerosas iniciativas centradas en revitalizar la agricultura campesina así como renovadas discusiones sobre el rol que juega la agricultura como motor de desarrollo y principal actividad para alivio de la pobreza. Por ello, cuando hablamos de evaluar sistemas campesinos de montaña, debemos considerar tanto la dimensión alimentaria como las especificidades propias de los sistemas montañosos como base fundamental de la sostenibilidad. Al evaluar la contribución que han hecho alternativas tecnológicas y de manejo en la mejora de la sostenibilidad y la seguridad alimentaria de los sistemas campesinos de montaña en Mesoamérica, surgen tres preguntas de investigación: • ¿Se está evaluando la sostenibilidad de los sistemas campesinos teniendo en cuenta la variabilidad climática, la participación de los agricultores y las dinámicas temporales? • ¿Podemos rescatar tendencias comunes en estos sistemas y extrapolar los resultados a otras zonas? • ¿Son inequívocamente positivas las alternativas propuestas que se han llevado a cabo? En este trabajo se presentan tres evaluaciones de sostenibilidad que tratan de poner de manifiesto cuáles son los retos y oportunidades que enfrentan actualmente los sistemas campesinos de montaña. En primer lugar, se evalúan tres sistemas de manejo agrícola bajo dos años meteorológicamente contrastantes. Se determinó que durante el año que experimentó lluvias abundantes y temperaturas moderadas, los sistemas de bajos insumos, basados en el uso de abonos orgánicos y rotación de cultivos, obtuvieron los mejores resultados en indicadores ecológicos y similares resultados en los económicos y sociales que el sistema de altos insumos químicos. En el segundo año, con heladas tempranas y sequía invernal, la productividad se redujo para todos los sistemas pero los sistemas más diversificados (en variedades de maíz y/o siembra de otros cultivos) pudieron resistir mejor los contratiempos climáticos. En segundo lugar, se evalúa el grado de conocimiento (percepción) campesino para determinar los factores claves que determinan la sostenibilidad de sus sistemas y su seguridad alimentaria. Se determinó que los principales puntos críticos identificados por los campesinos (tamaño de parcela y pendiente del terreno) afectan de forma significativa a cuestiones de índole económica, pero no son capaces de explicar los desequilibrios alimenticios existentes. Realizando un análisis comparativo entre comunidades que presentaban buenos y malos resultados en cuanto a aporte energético y proteico, se determinó que la seguridad alimentaria estaba relacionada con la sostenibilidad de los sistemas y que concretamente estaba ligada a los atributos de equidad y autonomía. Otro resultado destacable fue que las comunidades más marginales y con mayor dificultad de acceso mostraron mayores niveles de inseguridad alimentaria, pero la variabilidad intergrupal fue muy alta. Eso demuestra que la seguridad alimentaria y nutricional forma parte de un complejo sistema de estrategias de autoabastecimiento ligada a la idiosincrasia misma de cada uno de los hogares. En tercer lugar, se evaluó el desempeño de las escuelas de campo de agricultores (ECAs) en la mejora de la sostenibilidad y la seguridad alimentaria de un sistema campesino de montaña. Para ver el efecto del impacto de estas metodologías a largo plazo, se estudiaron tres comunidades donde se habían implementado ECAs hace 8, 5 y 3 años. Encontramos que el impacto fue progresivo ya que fue la comunidad más antigua la que mejores valores obtuvo. El impacto de las ECAs fue rápido y persistente en los indicadores relacionados con la participación, el acceso a servicios básicos y la conservación de los recursos naturales. El estudio demostró un claro potencial de las ECAs en la mejora general de la sostenibilidad y la seguridad alimentaria de estos sistemas, sin embargo se observó una relación directa entre el aumento de producción agrícola y el uso de insumos externos, lo que puede suponer un punto crítico para los ideales sostenibles. ABSTRACT During the last decades, sustainable agriculture has been the subject of considerable academic interest and debate, not only in conceptual terms, but also in methodological ones. The persistence of high levels of environmental degradation and food insecurity in many regions has led to new initiatives focused on revitalizing peasant agriculture and renewed discussions of the role of sustainable agriculture as an engine for development, environmental conservation and poverty alleviation. Therefore, to assess mountain farming systems, we must consider food dimension and taking into account the specificities of the mountain systems as the foundation of sustainability. When evaluating contribution of technological and management alternative proposals in achieving sustainability and food security for peasant farming systems in Mesoamerican highlands, three research questions arise: • Is sustainability of peasant-farming systems being evaluated taking into account climate variability, participation of farmers and temporal dynamics? • Can we rescue common trends in these systems and extrapolate the results to other areas? • What alternative proposals that have been conducted are unequivocally positives? In this document, we present three evaluations of sustainability that try to highlight the challenges and opportunities that currently face mountain farming systems in Mesoamerica. First, we evaluate the sustainability of three agricultural management systems in two contrasting weather years. We determined that during the first year that exposed heavy rains and moderate temperatures, low-input systems, which are based on the use of organic fertilizers and crop rotation, provided better results in terms of ecological indicators and equal results in terms of economic and social indicators than those achieved using a high chemical input system. In the second year, which featured early frosts and a winter drought, productivity declined in all systems; however, the most diversified systems (in terms of the maize varieties grown and the sowing of other crops) more successfully resisted these climatic adversities. Second, we evaluate the farmers’ perception to determine the key drivers for achieving their sustainability and food and nutritional security. We determined that the key factors identified by farmers (landholding size and slope of cropland) exerted significant impacts on economic disparities but did not explain the malnutrition levels. We compared two contrasting hamlets according to their energy and protein supply, one namely Limón Timoté (LT), which did not present food problems and Limón Peña Blanca (LP), which did exhibit food insecurity. The results showed that FNS is linked to sustainability, and it is primarily related to the sustainability attributes of self-reliance and equity. Although the more marginated and inaccessible community exhibited more food insecurity, food and nutritional security depend upon a complex array of self-sufficiency strategies that remain linked to individual household idiosyncrasies. Third, we evaluated the impact of farmer field schools for improving the sustainability and food security of peasant mountain systems. In order to appreciate the long-term impact, we studied three communities where FFSs were implemented eight, five and three years ago, respectively. We found that FFSs have a gradual impact, as the community that first implemented FFSs scores highest. The impact of FFSs was broad and long-lasting for indicators related to participation, access to basic services and conservation of natural resources. This study demonstrates the potential of FFSs, but more attention will have to be paid to critical indicators in order to scale up their potential in the future. We observed a direct relationship between the increase in agricultural production and the use of external inputs, which is a critical point for sustainable ideals.

A Vision-based Quadrotor Multi-robot Solution for the Indoor Autonomy Challenge of the 2013 International Micro Air Vehicle Competition

This paper presents a completely autonomous solution to participate in the Indoor Challenge of the 2013 International Micro Air Vehicle Competition (IMAV 2013). Our proposal is a multi-robot system with no centralized coordination whose robotic agents share their position estimates. The capability of each agent to navigate avoiding collisions is a consequence of the resulting emergent behavior. Each agent consists of a ground station running an instance of the proposed architecture that communicates over WiFi with an AR Drone 2.0 quadrotor. Visual markers are employed to sense and map obstacles and to improve the pose estimation based on Inertial Measurement Unit (IMU) and ground optical flow data. Based on our architecture, each robotic agent can navigate avoiding obstacles and other members of the multi-robot system. The solution is demonstrated and the achieved navigation performance is evaluated by means of experimental flights. This work also analyzes the capabilities of the presented solution in simulated flights of the IMAV 2013 Indoor Challenge. The performance of the CVG UPM team was awarded with the First Prize in the Indoor Autonomy Challenge of the IMAV 2013 competition.