Optimization of the Integrated Guidance and Control for a Dual Aerodynamic Control Missile

Las futuras misiones para misiles aire-aire operando dentro de la atmósfera requieren la interceptación de blancos a mayores velocidades y más maniobrables, incluyendo los esperados vehículos aéreos de combate no tripulados. La intercepción tiene que lograrse desde cualquier ángulo de lanzamiento. Una de las principales discusiones en la tecnología de misiles en la actualidad es cómo satisfacer estos nuevos requisitos incrementando la capacidad de maniobra del misil y en paralelo, a través de mejoras en los métodos de guiado y control modernos. Esta Tesis aborda estos dos objetivos simultáneamente, al proponer un diseño integrando el guiado y el control de vuelo (autopiloto) y aplicarlo a misiles con control aerodinámico simultáneo en canard y cola. Un primer avance de los resultados obtenidos ha sido publicado recientemente en el Journal of Aerospace Engineering, en Abril de 2015, [Ibarrondo y Sanz-Aranguez, 2015]. El valor del diseño integrado obtenido es que permite al misil cumplir con los requisitos operacionales mencionados empleando únicamente control aerodinámico. El diseño propuesto se compara favorablemente con esquemas más tradicionales, consiguiendo menores distancias de paso al blanco y necesitando de menores esfuerzos de control incluso en presencia de ruidos. En esta Tesis se demostrará cómo la introducción del doble mando, donde tanto el canard como las aletas de cola son móviles, puede mejorar las actuaciones de un misil existente. Comparado con un misil con control en cola, el doble control requiere sólo introducir dos servos adicionales para accionar los canards también en guiñada y cabeceo. La sección de cola será responsable de controlar el misil en balanceo mediante deflexiones diferenciales de los controles. En el caso del doble mando, la complicación añadida es que los vórtices desprendidos de los canards se propagan corriente abajo y pueden incidir sobre las superficies de cola, alterando sus características de control. Como un primer aporte, se ha desarrollado un modelo analítico completo para la aerodinámica no lineal de un misil con doble control, incluyendo la caracterización de este efecto de acoplamiento aerodinámico. Hay dos modos de funcionamiento en picado y guiñada para un misil de doble mando: ”desviación” y ”opuesto”. En modo ”desviación”, los controles actúan en la misma dirección, generando un cambio inmediato en la sustentación y produciendo un movimiento de translación en el misil. La respuesta es rápida, pero en el modo ”desviación” los misiles con doble control pueden tener dificultades para alcanzar grandes ángulos de ataque y altas aceleraciones laterales. Cuando los controles actúan en direcciones opuestas, el misil rota y el ángulo de ataque del fuselaje se incrementa para generar mayores aceleraciones en estado estacionario, aunque el tiempo de respuesta es mayor. Con el modelo aerodinámico completo, es posible obtener una parametrización dependiente de los estados de la dinámica de corto periodo del misil. Debido al efecto de acoplamiento entre los controles, la respuesta en bucle abierto no depende linealmente de los controles. El autopiloto se optimiza para obtener la maniobra requerida por la ley de guiado sin exceder ninguno de los límites aerodinámicos o mecánicos del misil. Una segunda contribución de la tesis es el desarrollo de un autopiloto con múltiples entradas de control y que integra la aerodinámica no lineal, controlando los tres canales de picado, guiñada y cabeceo de forma simultánea. Las ganancias del autopiloto dependen de los estados del misil y se calculan a cada paso de integración mediante la resolución de una ecuación de Riccati de orden 21x21. Las ganancias obtenidas son sub-óptimas, debido a que una solución completa de la ecuación de Hamilton-Jacobi-Bellman no puede obtenerse de manera práctica, y se asumen ciertas simplificaciones. Se incorpora asimismo un mecanismo que permite acelerar la respuesta en caso necesario. Como parte del autopiloto, se define una estrategia para repartir el esfuerzo de control entre el canard y la cola. Esto se consigue mediante un controlador aumentado situado antes del bucle de optimización, que minimiza el esfuerzo total de control para maniobrar. Esta ley de alimentación directa mantiene al misil cerca de sus condiciones de equilibrio, garantizando una respuesta transitoria adecuada. El controlador no lineal elimina la respuesta de fase no-mínima característica de la cola. En esta Tesis se consideran dos diseños para el guiado y control, el control en Doble-Lazo y el control Integrado. En la aproximación de Doble-Lazo, el autopiloto se sitúa dentro de un bucle interior y se diseña independientemente del guiado, que conforma el bucle más exterior del control. Esta estructura asume que existe separación espectral entre los dos, esto es, que los tiempos de respuesta del autopiloto son mucho mayores que los tiempos característicos del guiado. En el estudio se combina el autopiloto desarrollado con una ley de guiado óptimo. Los resultados obtenidos demuestran que se consiguen aumentos muy importantes en las actuaciones frente a misiles con control canard o control en cola, y que la interceptación, cuando se lanza cerca del curso de colisión, se consigue desde cualquier ángulo alrededor del blanco. Para el misil de doble mando, la estrategia óptima resulta en utilizar el modo de control opuesto en la aproximación al blanco y utilizar el modo de desviación justo antes del impacto. Sin embargo la lógica de doble bucle no consigue el impacto cuando hay desviaciones importantes con respecto al curso de colisión. Una de las razones es que parte de la demanda de guiado se pierde, ya que el misil solo es capaz de modificar su aceleración lateral, y no tiene control sobre su aceleración axial, a no ser que incorpore un motor de empuje regulable. La hipótesis de separación mencionada, y que constituye la base del Doble-Bucle, puede no ser aplicable cuando la dinámica del misil es muy alta en las proximidades del blanco. Si se combinan el guiado y el autopiloto en un único bucle, la información de los estados del misil está disponible para el cálculo de la ley de guiado, y puede calcularse la estrategia optima de guiado considerando las capacidades y la actitud del misil. Una tercera contribución de la Tesis es la resolución de este segundo diseño, la integración no lineal del guiado y del autopiloto (IGA) para el misil de doble control. Aproximaciones anteriores en la literatura han planteado este sistema en ejes cuerpo, resultando en un sistema muy inestable debido al bajo amortiguamiento del misil en cabeceo y guiñada. Las simplificaciones que se tomaron también causan que el misil se deslice alrededor del blanco y no consiga la intercepción. En nuestra aproximación el problema se plantea en ejes inerciales y se recurre a la dinámica de los cuaterniones, eliminado estos inconvenientes. No se limita a la dinámica de corto periodo del misil, porque se construye incluyendo de modo explícito la velocidad dentro del bucle de optimización. La formulación resultante en el IGA es independiente de la maniobra del blanco, que sin embargo se ha de incluir en el cálculo del modelo en Doble-bucle. Un típico inconveniente de los sistemas integrados con controlador proporcional, es el problema de las escalas. Los errores de guiado dominan sobre los errores de posición del misil y saturan el controlador, provocando la pérdida del misil. Este problema se ha tratado aquí con un controlador aumentado previo al bucle de optimización, que define un estado de equilibrio local para el sistema integrado, que pasa a actuar como un regulador. Los criterios de actuaciones para el IGA son los mismos que para el sistema de Doble-Bucle. Sin embargo el problema matemático resultante es muy complejo. El problema óptimo para tiempo finito resulta en una ecuación diferencial de Riccati con condiciones terminales, que no puede resolverse. Mediante un cambio de variable y la introducción de una matriz de transición, este problema se transforma en una ecuación diferencial de Lyapunov que puede resolverse mediante métodos numéricos. La solución resultante solo es aplicable en un entorno cercano del blanco. Cuando la distancia entre misil y blanco es mayor, se desarrolla una solución aproximada basada en la solución de una ecuación algebraica de Riccati para cada paso de integración. Los resultados que se han obtenido demuestran, a través de análisis numéricos en distintos escenarios, que la solución integrada es mejor que el sistema de Doble-Bucle. Las trayectorias resultantes son muy distintas. El IGA preserva el guiado del misil y consigue maximizar el uso de la propulsión, consiguiendo la interceptación del blanco en menores tiempos de vuelo. El sistema es capaz de lograr el impacto donde el Doble-Bucle falla, y además requiere un orden menos de magnitud en la cantidad de cálculos necesarios. El efecto de los ruidos radar, datos discretos y errores del radomo se investigan. El IGA es más robusto, resultando menos afectado por perturbaciones que el Doble- Bucle, especialmente porque el núcleo de optimización en el IGA es independiente de la maniobra del blanco. La estimación de la maniobra del blanco es siempre imprecisa y contaminada por ruido, y degrada la precisión de la solución de Doble-Bucle. Finalmente, como una cuarta contribución, se demuestra que el misil con guiado IGA es capaz de realizar una maniobra de defensa contra un blanco que ataque por su cola, sólo con control aerodinámico. Las trayectorias estudiadas consideran una fase pre-programada de alta velocidad de giro, manteniendo siempre el misil dentro de su envuelta de vuelo. Este procedimiento no necesita recurrir a soluciones técnicamente más complejas como el control vectorial del empuje o control por chorro para ejecutar esta maniobra. En todas las demostraciones matemáticas se utiliza el producto de Kronecker como una herramienta practica para manejar las parametrizaciones dependientes de variables, que resultan en matrices de grandes dimensiones. ABSTRACT Future missions for air to air endo-atmospheric missiles require the interception of targets with higher speeds and more maneuverable, including forthcoming unmanned supersonic combat vehicles. The interception will need to be achieved from any angle and off-boresight launch conditions. One of the most significant discussions in missile technology today is how to satisfy these new operational requirements by increasing missile maneuvering capabilities and in parallel, through the development of more advanced guidance and control methods. This Thesis addresses these two objectives by proposing a novel optimal integrated guidance and autopilot design scheme, applicable to more maneuverable missiles with forward and rearward aerodynamic controls. A first insight of these results have been recently published in the Journal of Aerospace Engineering in April 2015, [Ibarrondo and Sanz-Aránguez, 2015]. The value of this integrated solution is that it allows the missile to comply with the aforementioned requirements only by applying aerodynamic control. The proposed design is compared against more traditional guidance and control approaches with positive results, achieving reduced control efforts and lower miss distances with the integrated logic even in the presence of noises. In this Thesis it will be demonstrated how the dual control missile, where canard and tail fins are both movable, can enhance the capabilities of an existing missile airframe. Compared to a tail missile, dual control only requires two additional servos to actuate the canards in pitch and yaw. The tail section will be responsible to maintain the missile stabilized in roll, like in a classic tail missile. The additional complexity is that the vortices shed from the canard propagate downstream where they interact with the tail surfaces, altering the tail expected control characteristics. These aerodynamic phenomena must be properly described, as a preliminary step, with high enough precision for advanced guidance and control studies. As a first contribution we have developed a full analytical model of the nonlinear aerodynamics of a missile with dual control, including the characterization of this cross-control coupling effect. This development has been produced from a theoretical model validated with reliable practical data obtained from wind tunnel experiments available in the scientific literature, complement with computer fluid dynamics and semi-experimental methods. There are two modes of operating a missile with forward and rear controls, ”divert” and ”opposite” modes. In divert mode, controls are deflected in the same direction, generating an increment in direct lift and missile translation. Response is fast, but in this mode, dual control missiles may have difficulties in achieving large angles of attack and high level of lateral accelerations. When controls are deflected in opposite directions (opposite mode) the missile airframe rotates and the body angle of attack is increased to generate greater accelerations in steady-state, although the response time is larger. With the aero-model, a state dependent parametrization of the dual control missile short term dynamics can be obtained. Due to the cross-coupling effect, the open loop dynamics for the dual control missile is not linearly dependent of the fin positions. The short term missile dynamics are blended with the servo system to obtain an extended autopilot model, where the response is linear with the control fins turning rates, that will be the control variables. The flight control loop is optimized to achieve the maneuver required by the guidance law without exceeding any of the missile aerodynamic or mechanical limitations. The specific aero-limitations and relevant performance indicators for the dual control are set as part of the analysis. A second contribution of this Thesis is the development of a step-tracking multi-input autopilot that integrates non-linear aerodynamics. The designed dual control missile autopilot is a full three dimensional autopilot, where roll, pitch and yaw are integrated, calculating command inputs simultaneously. The autopilot control gains are state dependent, and calculated at each integration step solving a matrix Riccati equation of order 21x21. The resulting gains are sub-optimal as a full solution for the Hamilton-Jacobi-Bellman equation cannot be resolved in practical terms and some simplifications are taken. Acceleration mechanisms with an λ-shift is incorporated in the design. As part of the autopilot, a strategy is defined for proper allocation of control effort between canard and tail channels. This is achieved with an augmented feed forward controller that minimizes the total control effort of the missile to maneuver. The feedforward law also maintains the missile near trim conditions, obtaining a well manner response of the missile. The nonlinear controller proves to eliminate the non-minimum phase effect of the tail. Two guidance and control designs have been considered in this Thesis: the Two- Loop and the Integrated approaches. In the Two-Loop approach, the autopilot is placed in an inner loop and designed separately from an outer guidance loop. This structure assumes that spectral separation holds, meaning that the autopilot response times are much higher than the guidance command updates. The developed nonlinear autopilot is linked in the study to an optimal guidance law. Simulations are carried on launching close to collision course against supersonic and highly maneuver targets. Results demonstrate a large boost in performance provided by the dual control versus more traditional canard and tail missiles, where interception with the dual control close to collision course is achieved form 365deg all around the target. It is shown that for the dual control missile the optimal flight strategy results in using opposite control in its approach to target and quick corrections with divert just before impact. However the Two-Loop logic fails to achieve target interception when there are large deviations initially from collision course. One of the reasons is that part of the guidance command is not followed, because the missile is not able to control its axial acceleration without a throttleable engine. Also the separation hypothesis may not be applicable for a high dynamic vehicle like a dual control missile approaching a maneuvering target. If the guidance and autopilot are combined into a single loop, the guidance law will have information of the missile states and could calculate the most optimal approach to the target considering the actual capabilities and attitude of the missile. A third contribution of this Thesis is the resolution of the mentioned second design, the non-linear integrated guidance and autopilot (IGA) problem for the dual control missile. Previous approaches in the literature have posed the problem in body axes, resulting in high unstable behavior due to the low damping of the missile, and have also caused the missile to slide around the target and not actually hitting it. The IGA system is posed here in inertial axes and quaternion dynamics, eliminating these inconveniences. It is not restricted to the missile short term dynamic, and we have explicitly included the missile speed as a state variable. The IGA formulation is also independent of the target maneuver model that is explicitly included in the Two-loop optimal guidance law model. A typical problem of the integrated systems with a proportional control law is the problem of scales. The guidance errors are larger than missile state errors during most of the flight and result in high gains, control saturation and loss of control. It has been addressed here with an integrated feedforward controller that defines a local equilibrium state at each flight point and the controller acts as a regulator to minimize the IGA states excursions versus the defined feedforward state. The performance criteria for the IGA are the same as in the Two-Loop case. However the resulting optimization problem is mathematically very complex. The optimal problem in a finite-time horizon results in an irresoluble state dependent differential Riccati equation with terminal conditions. With a change of variable and the introduction of a transition matrix, the equation is transformed into a time differential Lyapunov equation that can be solved with known numerical methods in real time. This solution results range limited, and applicable when the missile is in a close neighborhood of the target. For larger ranges, an approximate solution is used, obtained from solution of an algebraic matrix Riccati equation at each integration step. The results obtained show, by mean of several comparative numerical tests in diverse homing scenarios, than the integrated approach is a better solution that the Two- Loop scheme. Trajectories obtained are very different in the two cases. The IGA fully preserves the guidance command and it is able to maximize the utilization of the missile propulsion system, achieving interception with lower miss distances and in lower flight times. The IGA can achieve interception against off-boresight targets where the Two- Loop was not able to success. As an additional advantage, the IGA also requires one order of magnitude less calculations than the Two-Loop solution. The effects of radar noises, discrete radar data and radome errors are investigated. IGA solution is robust, and less affected by radar than the Two-Loop, especially because the target maneuvers are not part of the IGA core optimization loop. Estimation of target acceleration is always imprecise and noisy and degrade the performance of the two-Loop solution. The IGA trajectories are such that minimize the impact of radome errors in the guidance loop. Finally, as a fourth contribution, it is demonstrated that the missile with IGA guidance is capable of performing a defense against attacks from its rear hemisphere, as a tail attack, only with aerodynamic control. The studied trajectories have a preprogrammed high rate turn maneuver, maintaining the missile within its controllable envelope. This solution does not recur to more complex features in service today, like vector control of the missile thrust or side thrusters. In all the mathematical treatments and demonstrations, the Kronecker product has been introduced as a practical tool to handle the state dependent parametrizations that have resulted in very high order matrix equations.

In-loop Feature Tracking for Structure and Motion with Out-of-core Optimization

In this paper, a novel and approach for obtaining 3D models from video sequences captured with hand-held cameras is addressed. We define a pipeline that robustly deals with different types of sequences and acquiring devices. Our system follows a divide and conquer approach: after a frame decimation that pre-conditions the input sequence, the video is split into short-length clips. This allows to parallelize the reconstruction step which translates into a reduction in the amount of computational resources required. The short length of the clips allows an intensive search for the best solution at each step of reconstruction which robustifies the system. The process of feature tracking is embedded within the reconstruction loop for each clip as opposed to other approaches. A final registration step, merges all the processed clips to the same coordinate frame

Vision-based vehicle detection and tracking with a mobile camera using a statistical framework

En esta tesis se aborda la detección y el seguimiento automático de vehículos mediante técnicas de visión artificial con una cámara monocular embarcada. Este problema ha suscitado un gran interés por parte de la industria automovilística y de la comunidad científica ya que supone el primer paso en aras de la ayuda a la conducción, la prevención de accidentes y, en última instancia, la conducción automática. A pesar de que se le ha dedicado mucho esfuerzo en los últimos años, de momento no se ha encontrado ninguna solución completamente satisfactoria y por lo tanto continúa siendo un tema de investigación abierto. Los principales problemas que plantean la detección y seguimiento mediante visión artificial son la gran variabilidad entre vehículos, un fondo que cambia dinámicamente debido al movimiento de la cámara, y la necesidad de operar en tiempo real. En este contexto, esta tesis propone un marco unificado para la detección y seguimiento de vehículos que afronta los problemas descritos mediante un enfoque estadístico. El marco se compone de tres grandes bloques, i.e., generación de hipótesis, verificación de hipótesis, y seguimiento de vehículos, que se llevan a cabo de manera secuencial. No obstante, se potencia el intercambio de información entre los diferentes bloques con objeto de obtener el máximo grado posible de adaptación a cambios en el entorno y de reducir el coste computacional. Para abordar la primera tarea de generación de hipótesis, se proponen dos métodos complementarios basados respectivamente en el análisis de la apariencia y la geometría de la escena. Para ello resulta especialmente interesante el uso de un dominio transformado en el que se elimina la perspectiva de la imagen original, puesto que este dominio permite una búsqueda rápida dentro de la imagen y por tanto una generación eficiente de hipótesis de localización de los vehículos. Los candidatos finales se obtienen por medio de un marco colaborativo entre el dominio original y el dominio transformado. Para la verificación de hipótesis se adopta un método de aprendizaje supervisado. Así, se evalúan algunos de los métodos de extracción de características más populares y se proponen nuevos descriptores con arreglo al conocimiento de la apariencia de los vehículos. Para evaluar la efectividad en la tarea de clasificación de estos descriptores, y dado que no existen bases de datos públicas que se adapten al problema descrito, se ha generado una nueva base de datos sobre la que se han realizado pruebas masivas. Finalmente, se presenta una metodología para la fusión de los diferentes clasificadores y se plantea una discusión sobre las combinaciones que ofrecen los mejores resultados. El núcleo del marco propuesto está constituido por un método Bayesiano de seguimiento basado en filtros de partículas. Se plantean contribuciones en los tres elementos fundamentales de estos filtros: el algoritmo de inferencia, el modelo dinámico y el modelo de observación. En concreto, se propone el uso de un método de muestreo basado en MCMC que evita el elevado coste computacional de los filtros de partículas tradicionales y por consiguiente permite que el modelado conjunto de múltiples vehículos sea computacionalmente viable. Por otra parte, el dominio transformado mencionado anteriormente permite la definición de un modelo dinámico de velocidad constante ya que se preserva el movimiento suave de los vehículos en autopistas. Por último, se propone un modelo de observación que integra diferentes características. En particular, además de la apariencia de los vehículos, el modelo tiene en cuenta también toda la información recibida de los bloques de procesamiento previos. El método propuesto se ejecuta en tiempo real en un ordenador de propósito general y da unos resultados sobresalientes en comparación con los métodos tradicionales. ABSTRACT This thesis addresses on-road vehicle detection and tracking with a monocular vision system. This problem has attracted the attention of the automotive industry and the research community as it is the first step for driver assistance and collision avoidance systems and for eventual autonomous driving. Although many effort has been devoted to address it in recent years, no satisfactory solution has yet been devised and thus it is an active research issue. The main challenges for vision-based vehicle detection and tracking are the high variability among vehicles, the dynamically changing background due to camera motion and the real-time processing requirement. In this thesis, a unified approach using statistical methods is presented for vehicle detection and tracking that tackles these issues. The approach is divided into three primary tasks, i.e., vehicle hypothesis generation, hypothesis verification, and vehicle tracking, which are performed sequentially. Nevertheless, the exchange of information between processing blocks is fostered so that the maximum degree of adaptation to changes in the environment can be achieved and the computational cost is alleviated. Two complementary strategies are proposed to address the first task, i.e., hypothesis generation, based respectively on appearance and geometry analysis. To this end, the use of a rectified domain in which the perspective is removed from the original image is especially interesting, as it allows for fast image scanning and coarse hypothesis generation. The final vehicle candidates are produced using a collaborative framework between the original and the rectified domains. A supervised classification strategy is adopted for the verification of the hypothesized vehicle locations. In particular, state-of-the-art methods for feature extraction are evaluated and new descriptors are proposed by exploiting the knowledge on vehicle appearance. Due to the lack of appropriate public databases, a new database is generated and the classification performance of the descriptors is extensively tested on it. Finally, a methodology for the fusion of the different classifiers is presented and the best combinations are discussed. The core of the proposed approach is a Bayesian tracking framework using particle filters. Contributions are made on its three key elements: the inference algorithm, the dynamic model and the observation model. In particular, the use of a Markov chain Monte Carlo method is proposed for sampling, which circumvents the exponential complexity increase of traditional particle filters thus making joint multiple vehicle tracking affordable. On the other hand, the aforementioned rectified domain allows for the definition of a constant-velocity dynamic model since it preserves the smooth motion of vehicles in highways. Finally, a multiple-cue observation model is proposed that not only accounts for vehicle appearance but also integrates the available information from the analysis in the previous blocks. The proposed approach is proven to run near real-time in a general purpose PC and to deliver outstanding results compared to traditional methods.

Localization and activity detection Based on the fusion of environment And inertial sensors = Localización y detección de actividad Basadas en integración de sensores y dispositivos inerciales

Los sensores inerciales (acelerómetros y giróscopos) se han ido introduciendo poco a poco en dispositivos que usamos en nuestra vida diaria gracias a su minituarización. Hoy en día todos los smartphones contienen como mínimo un acelerómetro y un magnetómetro, siendo complementados en losmás modernos por giróscopos y barómetros. Esto, unido a la proliferación de los smartphones ha hecho viable el diseño de sistemas basados en las medidas de sensores que el usuario lleva colocados en alguna parte del cuerpo (que en un futuro estarán contenidos en tejidos inteligentes) o los integrados en su móvil. El papel de estos sensores se ha convertido en fundamental para el desarrollo de aplicaciones contextuales y de inteligencia ambiental. Algunos ejemplos son el control de los ejercicios de rehabilitación o la oferta de información referente al sitio turístico que se está visitando. El trabajo de esta tesis contribuye a explorar las posibilidades que ofrecen los sensores inerciales para el apoyo a la detección de actividad y la mejora de la precisión de servicios de localización para peatones. En lo referente al reconocimiento de la actividad que desarrolla un usuario, se ha explorado el uso de los sensores integrados en los dispositivos móviles de última generación (luz y proximidad, acelerómetro, giróscopo y magnetómetro). Las actividades objetivo son conocidas como ‘atómicas’ (andar a distintas velocidades, estar de pie, correr, estar sentado), esto es, actividades que constituyen unidades de actividades más complejas como pueden ser lavar los platos o ir al trabajo. De este modo, se usan algoritmos de clasificación sencillos que puedan ser integrados en un móvil como el Naïve Bayes, Tablas y Árboles de Decisión. Además, se pretende igualmente detectar la posición en la que el usuario lleva el móvil, no sólo con el objetivo de utilizar esa información para elegir un clasificador entrenado sólo con datos recogidos en la posición correspondiente (estrategia que mejora los resultados de estimación de la actividad), sino también para la generación de un evento que puede producir la ejecución de una acción. Finalmente, el trabajo incluye un análisis de las prestaciones de la clasificación variando el tipo de parámetros y el número de sensores usados y teniendo en cuenta no sólo la precisión de la clasificación sino también la carga computacional. Por otra parte, se ha propuesto un algoritmo basado en la cuenta de pasos utilizando informaiii ción proveniente de un acelerómetro colocado en el pie del usuario. El objetivo final es detectar la actividad que el usuario está haciendo junto con la estimación aproximada de la distancia recorrida. El algoritmo de cuenta pasos se basa en la detección de máximos y mínimos usando ventanas temporales y umbrales sin requerir información específica del usuario. El ámbito de seguimiento de peatones en interiores es interesante por la falta de un estándar de localización en este tipo de entornos. Se ha diseñado un filtro extendido de Kalman centralizado y ligeramente acoplado para fusionar la información medida por un acelerómetro colocado en el pie del usuario con medidas de posición. Se han aplicado también diferentes técnicas de corrección de errores como las de velocidad cero que se basan en la detección de los instantes en los que el pie está apoyado en el suelo. Los resultados han sido obtenidos en entornos interiores usando las posiciones estimadas por un sistema de triangulación basado en la medida de la potencia recibida (RSS) y GPS en exteriores. Finalmente, se han implementado algunas aplicaciones que prueban la utilidad del trabajo desarrollado. En primer lugar se ha considerado una aplicación de monitorización de actividad que proporciona al usuario información sobre el nivel de actividad que realiza durante un período de tiempo. El objetivo final es favorecer el cambio de comportamientos sedentarios, consiguiendo hábitos saludables. Se han desarrollado dos versiones de esta aplicación. En el primer caso se ha integrado el algoritmo de cuenta pasos en una plataforma OSGi móvil adquiriendo los datos de un acelerómetro Bluetooth colocado en el pie. En el segundo caso se ha creado la misma aplicación utilizando las implementaciones de los clasificadores en un dispositivo Android. Por otro lado, se ha planteado el diseño de una aplicación para la creación automática de un diario de viaje a partir de la detección de eventos importantes. Esta aplicación toma como entrada la información procedente de la estimación de actividad y de localización además de información almacenada en bases de datos abiertas (fotos, información sobre sitios) e información sobre sensores reales y virtuales (agenda, cámara, etc.) del móvil. Abstract Inertial sensors (accelerometers and gyroscopes) have been gradually embedded in the devices that people use in their daily lives thanks to their miniaturization. Nowadays all smartphones have at least one embedded magnetometer and accelerometer, containing the most upto- date ones gyroscopes and barometers. This issue, together with the fact that the penetration of smartphones is growing steadily, has made possible the design of systems that rely on the information gathered by wearable sensors (in the future contained in smart textiles) or inertial sensors embedded in a smartphone. The role of these sensors has become key to the development of context-aware and ambient intelligent applications. Some examples are the performance of rehabilitation exercises, the provision of information related to the place that the user is visiting or the interaction with objects by gesture recognition. The work of this thesis contributes to explore to which extent this kind of sensors can be useful to support activity recognition and pedestrian tracking, which have been proven to be essential for these applications. Regarding the recognition of the activity that a user performs, the use of sensors embedded in a smartphone (proximity and light sensors, gyroscopes, magnetometers and accelerometers) has been explored. The activities that are detected belong to the group of the ones known as ‘atomic’ activities (e.g. walking at different paces, running, standing), that is, activities or movements that are part of more complex activities such as doing the dishes or commuting. Simple, wellknown classifiers that can run embedded in a smartphone have been tested, such as Naïve Bayes, Decision Tables and Trees. In addition to this, another aim is to estimate the on-body position in which the user is carrying the mobile phone. The objective is not only to choose a classifier that has been trained with the corresponding data in order to enhance the classification but also to start actions. Finally, the performance of the different classifiers is analysed, taking into consideration different features and number of sensors. The computational and memory load of the classifiers is also measured. On the other hand, an algorithm based on step counting has been proposed. The acceleration information is provided by an accelerometer placed on the foot. The aim is to detect the activity that the user is performing together with the estimation of the distance covered. The step counting strategy is based on detecting minima and its corresponding maxima. Although the counting strategy is not innovative (it includes time windows and amplitude thresholds to prevent under or overestimation) no user-specific information is required. The field of pedestrian tracking is crucial due to the lack of a localization standard for this kind of environments. A loosely-coupled centralized Extended Kalman Filter has been proposed to perform the fusion of inertial and position measurements. Zero velocity updates have been applied whenever the foot is detected to be placed on the ground. The results have been obtained in indoor environments using a triangulation algorithm based on RSS measurements and GPS outdoors. Finally, some applications have been designed to test the usefulness of the work. The first one is called the ‘Activity Monitor’ whose aim is to prevent sedentary behaviours and to modify habits to achieve desired objectives of activity level. Two different versions of the application have been implemented. The first one uses the activity estimation based on the step counting algorithm, which has been integrated in an OSGi mobile framework acquiring the data from a Bluetooth accelerometer placed on the foot of the individual. The second one uses activity classifiers embedded in an Android smartphone. On the other hand, the design of a ‘Travel Logbook’ has been planned. The input of this application is the information provided by the activity and localization modules, external databases (e.g. pictures, points of interest, weather) and mobile embedded and virtual sensors (agenda, camera, etc.). The aim is to detect important events in the journey and gather the information necessary to store it as a journal page.

Handmade Task Tracking Applied to Cognitive Rehabilitation

This article presents research focused on tracking manual tasks that are applied in cognitive rehabilitation so as to analyze the movements of patients who suffer from Apraxia and Action Disorganization Syndrome (AADS). This kind of patients find executing Activities of Daily Living (ADL) too difficult due to the loss of memory and capacity to carry out sequential tasks or the impossibility of associating different objects with their functions. This contribution is developed from the work of Universidad Politécnica de Madrid and Technical University of Munich in collaboration with The University of Birmingham. The KinectTM for Windows© device is used for this purpose. The data collected is compared to an ultrasonic motion capture system. The results indicate a moderate to strong correlation between signals. They also verify that KinectTM is very suitable and inexpensive. Moreover, it turns out to be a motion-capture system quite easy to implement for kinematics analysis in ADL.

Localization and Tracking in Energy-Constrained Networks with Dynamic Connectivity

Systems used for target localization, such as goods, individuals, or animals, commonly rely on operational means to meet the final application demands. However, what would happen if some means were powered up randomly by harvesting systems? And what if those devices not randomly powered had their duty cycles restricted? Under what conditions would such an operation be tolerable in localization services? What if the references provided by nodes in a tracking problem were distorted? Moreover, there is an underlying topic common to the previous questions regarding the transfer of conceptual models to reality in field tests: what challenges are faced upon deploying a localization network that integrates energy harvesting modules? The application scenario of the system studied is a traditional herding environment of semi domesticated reindeer (Rangifer tarandus tarandus) in northern Scandinavia. In these conditions, information on approximate locations of reindeer is as important as environmental preservation. Herders also need cost-effective devices capable of operating unattended in, sometimes, extreme weather conditions. The analyses developed are worthy not only for the specific application environment presented, but also because they may serve as an approach to performance of navigation systems in absence of reasonably accurate references like the ones of the Global Positioning System (GPS). A number of energy-harvesting solutions, like thermal and radio-frequency harvesting, do not commonly provide power beyond one milliwatt. When they do, battery buffers may be needed (as it happens with solar energy) which may raise costs and make systems more dependent on environmental temperatures. In general, given our problem, a harvesting system is needed that be capable of providing energy bursts of, at least, some milliwatts. Many works on localization problems assume that devices have certain capabilities to determine unknown locations based on range-based techniques or fingerprinting which cannot be assumed in the approach considered herein. The system presented is akin to range-free techniques, but goes to the extent of considering very low node densities: most range-free techniques are, therefore, not applicable. Animal localization, in particular, uses to be supported by accurate devices such as GPS collars which deplete batteries in, maximum, a few days. Such short-life solutions are not particularly desirable in the framework considered. In tracking, the challenge may times addressed aims at attaining high precision levels from complex reliable hardware and thorough processing techniques. One of the challenges in this Thesis is the use of equipment with just part of its facilities in permanent operation, which may yield high input noise levels in the form of distorted reference points. The solution presented integrates a kinetic harvesting module in some nodes which are expected to be a majority in the network. These modules are capable of providing power bursts of some milliwatts which suffice to meet node energy demands. The usage of harvesting modules in the aforementioned conditions makes the system less dependent on environmental temperatures as no batteries are used in nodes with harvesters--it may be also an advantage in economic terms. There is a second kind of nodes. They are battery powered (without kinetic energy harvesters), and are, therefore, dependent on temperature and battery replacements. In addition, their operation is constrained by duty cycles in order to extend node lifetime and, consequently, their autonomy. There is, in turn, a third type of nodes (hotspots) which can be static or mobile. They are also battery-powered, and are used to retrieve information from the network so that it is presented to users. The system operational chain starts at the kinetic-powered nodes broadcasting their own identifier. If an identifier is received at a battery-powered node, the latter stores it for its records. Later, as the recording node meets a hotspot, its full record of detections is transferred to the hotspot. Every detection registry comprises, at least, a node identifier and the position read from its GPS module by the battery-operated node previously to detection. The characteristics of the system presented make the aforementioned operation own certain particularities which are also studied. First, identifier transmissions are random as they depend on movements at kinetic modules--reindeer movements in our application. Not every movement suffices since it must overcome a certain energy threshold. Second, identifier transmissions may not be heard unless there is a battery-powered node in the surroundings. Third, battery-powered nodes do not poll continuously their GPS module, hence localization errors rise even more. Let's recall at this point that such behavior is tight to the aforementioned power saving policies to extend node lifetime. Last, some time is elapsed between the instant an identifier random transmission is detected and the moment the user is aware of such a detection: it takes some time to find a hotspot. Tracking is posed as a problem of a single kinetically-powered target and a population of battery-operated nodes with higher densities than before in localization. Since the latter provide their approximate positions as reference locations, the study is again focused on assessing the impact of such distorted references on performance. Unlike in localization, distance-estimation capabilities based on signal parameters are assumed in this problem. Three variants of the Kalman filter family are applied in this context: the regular Kalman filter, the alpha-beta filter, and the unscented Kalman filter. The study enclosed hereafter comprises both field tests and simulations. Field tests were used mainly to assess the challenges related to power supply and operation in extreme conditions as well as to model nodes and some aspects of their operation in the application scenario. These models are the basics of the simulations developed later. The overall system performance is analyzed according to three metrics: number of detections per kinetic node, accuracy, and latency. The links between these metrics and the operational conditions are also discussed and characterized statistically. Subsequently, such statistical characterization is used to forecast performance figures given specific operational parameters. In tracking, also studied via simulations, nonlinear relationships are found between accuracy and duty cycles and cluster sizes of battery-operated nodes. The solution presented may be more complex in terms of network structure than existing solutions based on GPS collars. However, its main gain lies on taking advantage of users' error tolerance to reduce costs and become more environmentally friendly by diminishing the potential amount of batteries that can be lost. Whether it is applicable or not depends ultimately on the conditions and requirements imposed by users' needs and operational environments, which is, as it has been explained, one of the topics of this Thesis.

A novel motion tracking system for evaluation of functional rehabilitation of the upper limbs

Upper limb function impairment is one of the most common sequelae of central nervous system injury, especially in stroke patients and when spinal cord injury produces tetraplegia. Conventional assessment methods cannot provide objective evaluation of patient performance and the tiveness of therapies. The most common assessment tools are based on rating scales, which are inefficient when measuring small changes and can yield subjective bias. In this study, we designed an inertial sensor-based monitoring system composed of five sensors to measure and analyze the complex movements of the upper limbs, which are common in activities of daily living. We developed a kinematic model with nine degrees of freedom to analyze upper limb and head movements in three dimensions. This system was then validated using a commercial optoelectronic system. These findings suggest that an inertial sensor-based motion tracking system can be used in patients who have upper limb impairment through data integration with a virtual reality-based neuroretation system.

Non-invasive user monitoring in daily tasks for cognitive rehabilitation

El uso de técnicas para la monitorización del movimiento humano generalmente permite a los investigadores analizar la cinemática y especialmente las capacidades motoras en aquellas actividades de la vida cotidiana que persiguen un objetivo concreto como pueden ser la preparación de bebidas y comida, e incluso en tareas de aseo. Adicionalmente, la evaluación del movimiento y el comportamiento humanos en el campo de la rehabilitación cognitiva es esencial para profundizar en las dificultades que algunas personas encuentran en la ejecución de actividades diarias después de accidentes cerebro-vasculares. Estas dificultades están principalmente asociadas a la realización de pasos secuenciales y al reconocimiento del uso de herramientas y objetos. La interpretación de los datos sobre la actitud de este tipo de pacientes para reconocer y determinar el nivel de éxito en la ejecución de las acciones, y para ampliar el conocimiento en las enfermedades cerebrales, sus consecuencias y severidad, depende totalmente de los dispositivos usados para la captura de esos datos y de la calidad de los mismos. Más aún, existe una necesidad real de mejorar las técnicas actuales de rehabilitación cognitiva contribuyendo al diseño de sistemas automáticos para crear una especie de terapeuta virtual que asegure una vida más independiente de estos pacientes y reduzca la carga de trabajo de los terapeutas. Con este objetivo, el uso de sensores y dispositivos para obtener datos en tiempo real de la ejecución y estado de la tarea de rehabilitación es esencial para también contribuir al diseño y entrenamiento de futuros algoritmos que pudieran reconocer errores automáticamente para informar al paciente acerca de ellos mediante distintos tipos de pistas como pueden ser imágenes, mensajes auditivos o incluso videos. La tecnología y soluciones existentes en este campo no ofrecen una manera totalmente robusta y efectiva para obtener datos en tiempo real, por un lado, porque pueden influir en el movimiento del propio paciente en caso de las plataformas basadas en el uso de marcadores que necesitan sensores pegados en la piel; y por otro lado, debido a la complejidad o alto coste de implantación lo que hace difícil pensar en la idea de instalar un sistema en el hospital o incluso en la casa del paciente. Esta tesis presenta la investigación realizada en el campo de la monitorización del movimiento de pacientes para proporcionar un paso adelante en términos de detección, seguimiento y reconocimiento del comportamiento de manos, gestos y cara mediante una manera no invasiva la cual puede mejorar la técnicas actuales de rehabilitación cognitiva para la adquisición en tiempo real de datos sobre el comportamiento del paciente y la ejecución de la tarea. Para entender la importancia del marco de esta tesis, inicialmente se presenta un resumen de las principales enfermedades cognitivas y se introducen las consecuencias que tienen en la ejecución de tareas de la vida diaria. Más aún, se investiga sobre las metodologías actuales de rehabilitación cognitiva. Teniendo en cuenta que las manos son la principal parte del cuerpo para la ejecución de tareas manuales de la vida cotidiana, también se resumen las tecnologías existentes para la captura de movimiento de manos. Una de las principales contribuciones de esta tesis está relacionada con el diseño y evaluación de una solución no invasiva para detectar y seguir las manos durante la ejecución de tareas manuales de la vida cotidiana que a su vez involucran la manipulación de objetos. Esta solución la cual no necesita marcadores adicionales y está basada en una cámara de profundidad de bajo coste, es robusta, precisa y fácil de instalar. Otra contribución presentada se centra en el reconocimiento de gestos para detectar el agarre de objetos basado en un sensor infrarrojo de última generación, y también complementado con una cámara de profundidad. Esta nueva técnica, y también no invasiva, sincroniza ambos sensores para seguir objetos específicos además de reconocer eventos concretos relacionados con tareas de aseo. Más aún, se realiza una evaluación preliminar del reconocimiento de expresiones faciales para analizar si es adecuado para el reconocimiento del estado de ánimo durante la tarea. Por su parte, todos los componentes y algoritmos desarrollados son integrados en un prototipo simple para ser usado como plataforma de monitorización. Se realiza una evaluación técnica del funcionamiento de cada dispositivo para analizar si es adecuada para adquirir datos en tiempo real durante la ejecución de tareas cotidianas reales. Finalmente, se estudia la interacción con pacientes reales para obtener información del nivel de usabilidad del prototipo. Dicha información es esencial y útil para considerar una rehabilitación cognitiva basada en la idea de instalación del sistema en la propia casa del paciente al igual que en el hospital correspondiente. ABSTRACT The use of human motion monitoring techniques usually let researchers to analyse kinematics, especially in motor strategies for goal-oriented activities of daily living, such as the preparation of drinks and food, and even grooming tasks. Additionally, the evaluation of human movements and behaviour in the field of cognitive rehabilitation is essential to deep into the difficulties some people find in common activities after stroke. This difficulties are mainly associated with sequence actions and the recognition of tools usage. The interpretation of attitude data of this kind of patients in order to recognize and determine the level of success of the execution of actions, and to broaden the knowledge in brain diseases, consequences and severity, depends totally on the devices used for the capture of that data and the quality of it. Moreover, there is a real need of improving the current cognitive rehabilitation techniques by contributing to the design of automatic systems to create a kind of virtual therapist for the improvement of the independent life of these stroke patients and to reduce the workload of the occupational therapists currently in charge of them. For this purpose, the use of sensors and devices to obtain real time data of the execution and state of the rehabilitation task is essential to also contribute to the design and training of future smart algorithms which may recognise errors to automatically provide multimodal feedback through different types of cues such as still images, auditory messages or even videos. The technology and solutions currently adopted in the field don't offer a totally robust and effective way for obtaining real time data, on the one hand, because they may influence the patient's movement in case of marker-based platforms which need sensors attached to the skin; and on the other hand, because of the complexity or high cost of implementation, which make difficult the idea of installing a system at the hospital or even patient's home. This thesis presents the research done in the field of user monitoring to provide a step forward in terms of detection, tracking and recognition of hand movements, gestures and face via a non-invasive way which could improve current techniques for cognitive rehabilitation for real time data acquisition of patient's behaviour and execution of the task. In order to understand the importance of the scope of the thesis, initially, a summary of the main cognitive diseases that require for rehabilitation and an introduction of the consequences on the execution of daily tasks are presented. Moreover, research is done about the actual methodology to provide cognitive rehabilitation. Considering that the main body members involved in the completion of a handmade daily task are the hands, the current technologies for human hands movements capture are also highlighted. One of the main contributions of this thesis is related to the design and evaluation of a non-invasive approach to detect and track user's hands during the execution of handmade activities of daily living which involve the manipulation of objects. This approach does not need the inclusion of any additional markers. In addition, it is only based on a low-cost depth camera, it is robust, accurate and easy to install. Another contribution presented is focused on the hand gesture recognition for detecting object grasping based on a brand new infrared sensor, and also complemented with a depth camera. This new, and also non-invasive, solution which synchronizes both sensors to track specific tools as well as recognize specific events related to grooming is evaluated. Moreover, a preliminary assessment of the recognition of facial expressions is carried out to analyse if it is adequate for recognizing mood during the execution of task. Meanwhile, all the corresponding hardware and software developed are integrated in a simple prototype with the purpose of being used as a platform for monitoring the execution of the rehabilitation task. Technical evaluation of the performance of each device is carried out in order to analyze its suitability to acquire real time data during the execution of real daily tasks. Finally, a kind of healthcare evaluation is also presented to obtain feedback about the usability of the system proposed paying special attention to the interaction with real users and stroke patients. This feedback is quite useful to consider the idea of a home-based cognitive rehabilitation as well as a possible hospital installation of the prototype.