Lecciones prácticas de desarrollo de aplicaciones móviles en Android

Los avances que se han producido en los últimos años en cuanto a potencia y capacidades de los teléfonos móviles que usamos de manera cotidiana, traen de la mano un auge en la demanda de aplicaciones de todo ámbito: desde aplicaciones generales de consumo, pasando por juegos, hasta aplicaciones que ofrecen soluciones internas a empresas. Existen diferentes sistemas operativos para teléfonos móviles como se explicará más adelante en el capítulo introductorio. En dicho capítulo se da la justificación de por qué en el presente Proyecto Fin de Carrera se centra en el estudio del sistema operativo Android. Primeramente se dará una visión global del estado del arte en cuanto al mundo de aplicaciones móviles se refiere. Se explicarán los pros y contras de cada sistema operativo, detallando el lenguaje de programación utilizado en cada uno de ellos y sus principales características. Después, en el capítulo tres se estudiará con más profundidad el sistema operativo Android, desde su historia y orígenes, hasta los componentes básicos para la creación de una aplicación, pasando por la arquitectura interna del sistema o su máquina virtual. Con esto se pretende que el lector tenga un contexto que le permita comprender los siguientes capítulos, que es donde está el núcleo de este Proyecto Fin de Carrera. El cuarto capítulo trata de una serie de prácticas incrementales, que cubren una gran parte de las posibilidades que ofrece el sistema operativo Android para el desarrollo de aplicaciones. Se ha pretendido que la dificultad vaya de menos a más y que las prácticas se vayan apoyando en las anteriores, para tener al final una única solución que englobe todas las lecciones. El último capítulo quiere englobar el uso de todas las lecciones aprendidas en las lecciones anteriores para crear una aplicación que bien podría ser una aplicación real para un cliente. Se trata de una aplicación que muestra en tiempo real información sobre las cámaras de tráfico de la ciudad de Madrid. ABSTRACT. The improvements that have occurred in recent years in terms of power and capabilities of mobile phones that we use on a daily basis, bring an increment in demand for all kind of applications, from general consumer applications, games or even internal applications that offer solutions to companies. There are different operating systems for mobile phones as will be explained later in the introductory chapter. In that chapter the answer for why this Thesis focuses on the study of the Android operating system is given as well. First an overview of the state of the art about the world of mobile applications will be referred. The pros and cons of each operating system will be explained, detailing the programming language used in each of them and their main characteristics. Then in chapter three will be discussed in more depth the Android operating system, from its history and beginnings to the main components for the creation of an application, to the internal architecture of the system or virtual machine. The goal of chapter three is to give the readers a context that allows them to understand the following chapters, where the core of this Thesis is. The fourth chapter contains a series of incremental practices covering a large part of the potential of the Android operating system for application development. Those practices grow in difficulty and are supported by the previous in order to have at the end a single solution that fits all lessons. The last chapter wants to embrace the use of all the lessons learned in previous lessons to create an application that could well be an actual application for a client. It is an application that displays real-time information off traffic cameras of the city of Madrid.

Real-time Surveillance Application by Multiple Detectors and Compressive Trackers

A real-time surveillance system for IP network cameras is presented. Motion, part-body, and whole-body detectors are efficiently combined to generate robust and fast detections, which feed multiple compressive trackers. The generated trajectories are then improved using a reidentification strategy for long term operation.

CCD image sensor induced error in PIV applications

The readout procedure of charge-coupled device (CCD) cameras is known to generate some image degradation in different scientific imaging fields, especially in astrophysics. In the particular field of particle image velocimetry (PIV), widely extended in the scientific community, the readout procedure of the interline CCD sensor induces a bias in the registered position of particle images. This work proposes simple procedures to predict the magnitude of the associated measurement error. Generally, there are differences in the position bias for the different images of a certain particle at each PIV frame. This leads to a substantial bias error in the PIV velocity measurement (~0.1 pixels). This is the order of magnitude that other typical PIV errors such as peak-locking may reach. Based on modern CCD technology and architecture, this work offers a description of the readout phenomenon and proposes a modeling for the CCD readout bias error magnitude. This bias, in turn, generates a velocity measurement bias error when there is an illumination difference between two successive PIV exposures. The model predictions match the experiments performed with two 12-bit-depth interline CCD cameras (MegaPlus ES 4.0/E incorporating the Kodak KAI-4000M CCD sensor with 4 megapixels). For different cameras, only two constant values are needed to fit the proposed calibration model and predict the error from the readout procedure. Tests by different researchers using different cameras would allow verification of the model, that can be used to optimize acquisition setups. Simple procedures to obtain these two calibration values are also described.

Bayesian scene analysis for multi-camera 3D tracking and camera positioning

Los sistemas de seguimiento mono-cámara han demostrado su notable capacidad para el análisis de trajectorias de objectos móviles y para monitorización de escenas de interés; sin embargo, tanto su robustez como sus posibilidades en cuanto a comprensión semántica de la escena están fuertemente limitadas por su naturaleza local y monocular, lo que los hace insuficientes para aplicaciones realistas de videovigilancia. El objetivo de esta tesis es la extensión de las posibilidades de los sistemas de seguimiento de objetos móviles para lograr un mayor grado de robustez y comprensión de la escena. La extensión propuesta se divide en dos direcciones separadas. La primera puede considerarse local, ya que está orientada a la mejora y enriquecimiento de las posiciones estimadas para los objetos móviles observados directamente por las cámaras del sistema; dicha extensión se logra mediante el desarrollo de un sistema multi-cámara de seguimiento 3D, capaz de proporcionar consistentemente las posiciones 3D de múltiples objetos a partir de las observaciones capturadas por un conjunto de sensores calibrados y con campos de visión solapados. La segunda extensión puede considerarse global, dado que su objetivo consiste en proporcionar un contexto global para relacionar las observaciones locales realizadas por una cámara con una escena de mucho mayor tamaño; para ello se propone un sistema automático de localización de cámaras basado en las trayectorias observadas de varios objetos móviles y en un mapa esquemático de la escena global monitorizada. Ambas líneas de investigación se tratan utilizando, como marco común, técnicas de estimación bayesiana: esta elección está justificada por la versatilidad y flexibilidad proporcionada por dicho marco estadístico, que permite la combinación natural de múltiples fuentes de información sobre los parámetros a estimar, así como un tratamiento riguroso de la incertidumbre asociada a las mismas mediante la inclusión de modelos de observación específicamente diseñados. Además, el marco seleccionado abre grandes posibilidades operacionales, puesto que permite la creación de diferentes métodos numéricos adaptados a las necesidades y características específicas de distintos problemas tratados. El sistema de seguimiento 3D con múltiples cámaras propuesto está específicamente diseñado para permitir descripciones esquemáticas de las medidas realizadas individualmente por cada una de las cámaras del sistema: esta elección de diseño, por tanto, no asume ningún algoritmo específico de detección o seguimiento 2D en ninguno de los sensores de la red, y hace que el sistema propuesto sea aplicable a redes reales de vigilancia con capacidades limitadas tanto en términos de procesamiento como de transmision. La combinación robusta de las observaciones capturadas individualmente por las cámaras, ruidosas, incompletas y probablemente contaminadas por falsas detecciones, se basa en un metodo de asociación bayesiana basado en geometría y color: los resultados de dicha asociación permiten el seguimiento 3D de los objetos de la escena mediante el uso de un filtro de partículas. El sistema de fusión de observaciones propuesto tiene, como principales características, una gran precisión en términos de localización 3D de objetos, y una destacable capacidad de recuperación tras eventuales errores debidos a un número insuficiente de datos de entrada. El sistema automático de localización de cámaras se basa en la observación de múltiples objetos móviles y un mapa esquemático de las áreas transitables del entorno monitorizado para inferir la posición absoluta de dicho sensor. Para este propósito, se propone un novedoso marco bayesiano que combina modelos dinámicos inducidos por el mapa en los objetos móviles presentes en la escena con las trayectorias observadas por la cámara, lo que representa un enfoque nunca utilizado en la literatura existente. El sistema de localización se divide en dos sub-tareas diferenciadas, debido a que cada una de estas tareas requiere del diseño de algoritmos específicos de muestreo para explotar en profundidad las características del marco desarrollado: por un lado, análisis de la ambigüedad del caso específicamente tratado y estimación aproximada de la localización de la cámara, y por otro, refinado de la localización de la cámara. El sistema completo, diseñado y probado para el caso específico de localización de cámaras en entornos de tráfico urbano, podría tener aplicación también en otros entornos y sensores de diferentes modalidades tras ciertas adaptaciones. ABSTRACT Mono-camera tracking systems have proved their capabilities for moving object trajectory analysis and scene monitoring, but their robustness and semantic possibilities are strongly limited by their local and monocular nature and are often insufficient for realistic surveillance applications. This thesis is aimed at extending the possibilities of moving object tracking systems to a higher level of scene understanding. The proposed extension comprises two separate directions. The first one is local, since is aimed at enriching the inferred positions of the moving objects within the area of the monitored scene directly covered by the cameras of the system; this task is achieved through the development of a multi-camera system for robust 3D tracking, able to provide 3D tracking information of multiple simultaneous moving objects from the observations reported by a set of calibrated cameras with semi-overlapping fields of view. The second extension is global, as is aimed at providing local observations performed within the field of view of one camera with a global context relating them to a much larger scene; to this end, an automatic camera positioning system relying only on observed object trajectories and a scene map is designed. The two lines of research in this thesis are addressed using Bayesian estimation as a general unifying framework. Its suitability for these two applications is justified by the flexibility and versatility of that stochastic framework, which allows the combination of multiple sources of information about the parameters to estimate in a natural and elegant way, addressing at the same time the uncertainty associated to those sources through the inclusion of models designed to this end. In addition, it opens multiple possibilities for the creation of different numerical methods for achieving satisfactory and efficient practical solutions to each addressed application. The proposed multi-camera 3D tracking method is specifically designed to work on schematic descriptions of the observations performed by each camera of the system: this choice allows the use of unspecific off-the-shelf 2D detection and/or tracking subsystems running independently at each sensor, and makes the proposal suitable for real surveillance networks with moderate computational and transmission capabilities. The robust combination of such noisy, incomplete and possibly unreliable schematic descriptors relies on a Bayesian association method, based on geometry and color, whose results allow the tracking of the targets in the scene with a particle filter. The main features exhibited by the proposal are, first, a remarkable accuracy in terms of target 3D positioning, and second, a great recovery ability after tracking losses due to insufficient input data. The proposed system for visual-based camera self-positioning uses the observations of moving objects and a schematic map of the passable areas of the environment to infer the absolute sensor position. To this end, a new Bayesian framework combining trajectory observations and map-induced dynamic models for moving objects is designed, which represents an approach to camera positioning never addressed before in the literature. This task is divided into two different sub-tasks, setting ambiguity analysis and approximate position estimation, on the one hand, and position refining, on the other, since they require the design of specific sampling algorithms to correctly exploit the discriminative features of the developed framework. This system, designed for camera positioning and demonstrated in urban traffic environments, can also be applied to different environments and sensors of other modalities after certain required adaptations.

Hardware timestamping for image acquisition system based on FlexRIO and IEEE 1588 v2 Standard

Current fusion devices consist of multiple diagnostics and hundreds or even thousands of signals. This situation forces on multiple occasions to use distributed data acquisition systems as the best approach. In this type of distributed systems, one of the most important issues is the synchronization between signals, so that it is possible to have a temporal correlation as accurate as possible between the acquired samples of all channels. In last decades, many fusion devices use different types of video cameras to provide inside views of the vessel during operations and to monitor plasma behavior. The synchronization between each video frame and the rest of the different signals acquired from any other diagnostics is essential in order to know correctly the plasma evolution, since it is possible to analyze jointly all the information having accurate knowledge of their temporal correlation. The developed system described in this paper allows timestamping image frames in a real-time acquisition and processing system using 1588 clock distribution. The system has been implemented using FPGA based devices together with a 1588 synchronized timing card (see Fig.1). The solution is based on a previous system [1] that allows image acquisition and real-time image processing based on PXIe technology. This architecture is fully compatible with the ITER Fast Controllers [2] and offers integration with EPICS to control and monitor the entire system. However, this set-up is not able to timestamp the frames acquired since the frame grabber module does not present any type of timing input (IRIG-B, GPS, PTP). To solve this lack, an IEEE1588 PXI timing device its used to provide an accurate way to synchronize distributed data acquisition systems using the Precision Time Protocol (PTP) IEEE 1588 2008 standard. This local timing device can be connected to a master clock device for global synchronization. The timing device has a buffer timestamp for each PXI trigger line and requires tha- a software application assigns each frame the corresponding timestamp. The previous action is critical and cannot be achieved if the frame rate is high. To solve this problem, it has been designed a solution that distributes the clock from the IEEE 1588 timing card to all FlexRIO devices [3]. This solution uses two PXI trigger lines that provide the capacity to assign timestamps to every frame acquired and register events by hardware in a deterministic way. The system provides a solution for timestamping frames to synchronize them with the rest of the different signals.

Análisis de sistemas de protección y seguridad de muros de vidrio frente a cargas explosivas

El objetivo principal de este proyecto es el estudio y análisis de dos sistemas de seguridad y protección para muros de vidrio en terminales de transporte, frente a ondas de choque ocasionadas por la detonación de cargas explosivas. Se ha ensayado en primer lugar un adhesivo de seguridad y protección ("Ultra S400") colocado en la cara expuesta a la detonación y un sistema de bandejas metálicas ("kalzip"), tanto en el exterior como en el interior, en el segundo ensayo. Los ensayos se han instrumentado con captadores de presión, acelerómetros, sismógrafos y con cámaras convencionales y de alta velocidad, ésta última nos ha permitido calcular la velocidad de choque en el primero de los ensayos. El análisis de las presiones ha permitido caracterizar la explosión y compararla con los valores de referencia para el TNT del manual norteamericano UFC 3-340. El diseño de los ensayos se ha hecho conforme a las normas ISO y GSA de modo que los resultados han permitido clasificar las diferentes configuraciones de muro cortina ensayadas. ABSTRACT The main objective of this thesis is the analysis and evaluation of two safety and protective systems for glass walls at transportation terminals, against impact waves caused by the detonation of an explosive charge. It has been tested in first place, a safety and protective adhesive ("Ultra S400"), located at the exposed side of the explosion, and a system consisting of some metallic trays ("kalzip"), both inside and outside, for the second experiment. The tests have been monitored by pressure captures, accelerometer, seismographs, conventional cameras, and high-speed cameras, which allow us to determine the impact speed in the first experiment. The analysis of the pressure enables the characterization of the explosion and its comparison against typical TNT reference values from the UFC 3-340 North American manual. The design of the tests has been made according to ISO and GSA standards. Therefore, the results allow us to classify different patterns of curtain walls tested.

Multi-sensor background subtraction by fusing multiple region-based probabilistic classifiers

In the recent years, the computer vision community has shown great interest on depth-based applications thanks to the performance and flexibility of the new generation of RGB-D imagery. In this paper, we present an efficient background subtraction algorithm based on the fusion of multiple region-based classifiers that processes depth and color data provided by RGB-D cameras. Foreground objects are detected by combining a region-based foreground prediction (based on depth data) with different background models (based on a Mixture of Gaussian algorithm) providing color and depth descriptions of the scene at pixel and region level. The information given by these modules is fused in a mixture of experts fashion to improve the foreground detection accuracy. The main contributions of the paper are the region-based models of both background and foreground, built from the depth and color data. The obtained results using different database sequences demonstrate that the proposed approach leads to a higher detection accuracy with respect to existing state-of-the-art techniques.

Background foreground segmentation with RGB-D Kinect data: An efficient combination of classifiers

Low cost RGB-D cameras such as the Microsoft’s Kinect or the Asus’s Xtion Pro are completely changing the computer vision world, as they are being successfully used in several applications and research areas. Depth data are particularly attractive and suitable for applications based on moving objects detection through foreground/background segmentation approaches; the RGB-D applications proposed in literature employ, in general, state of the art foreground/background segmentation techniques based on the depth information without taking into account the color information. The novel approach that we propose is based on a combination of classifiers that allows improving background subtraction accuracy with respect to state of the art algorithms by jointly considering color and depth data. In particular, the combination of classifiers is based on a weighted average that allows to adaptively modifying the support of each classifier in the ensemble by considering foreground detections in the previous frames and the depth and color edges. In this way, it is possible to reduce false detections due to critical issues that can not be tackled by the individual classifiers such as: shadows and illumination changes, color and depth camouflage, moved background objects and noisy depth measurements. Moreover, we propose, for the best of the author’s knowledge, the first publicly available RGB-D benchmark dataset with hand-labeled ground truth of several challenging scenarios to test background/foreground segmentation algorithms.

Statistical moving object detection for mobile devices with camera

A novel and high-quality system for moving object detection in sequences recorded with moving cameras is proposed. This system is based on the collaboration between an automatic homography estimation module for image alignment, and a robust moving object detection using an efficient spatiotemporal nonparametric background modeling.

Nanosatellites costelation mission: ODEI-C24

Our mission consists in 4 key objectives: Quantify the number of sunspots during the solar maximum, and also characterize their activity and magnetism. Demonstrate the reliability of a mission in LEO orbit, for an effective solar observation. Technology demonstrator: we will take on board an experiment: the PTF (Polymer Filter test in flight ), associated with visible cameras. Investigation of the potential for exploitation of ground space market through the sale of images taken in flight.

Evaluación experimental del dispositivo LRF HOKUYO URG-04LX-UG01

En robótica móvil existen diferentes dispositivos que permiten percibir la configuración del entorno. Pueden utilizarse alternativas de gran alcance como por ejemplo los ultrasonidos, pero que tienen la desventaja de consumir un tiempo elevado en la realización de las medidas. En corta distancia destacan los sensores basados en la emisión de luz infrarroja, que responden a muy alta velocidad pero tienen muy poco alcance. La obtención de fotografia, en incluso video, por medio de camaras, permite obtener mucha información del entorno, pero exige un procesado normalmente muy elaborado. Los “Laser Range Finder” son dispositivos basados en la emisión de un haz laser que responden a muy alta velocidad en el entorno de unos cuantos metros alrededor del robot móvil, lo que los hacen especialmente adecuados para un uso continuo que permita obtener de forma rapida un mapa de los obstaculos mas próximos. En el presente proyecto se va a realizar un ejercicio de medida con el laser range finder URG-04LX-UG01 para confirmar su utilidad en el ambito de la robótica móvil. ABSTRACT In mobile robotics there are different devices that allow sense the environment configuration. Powerful alternatives may be used as e.g. ultrasounds, but they have the disadvantage of consuming a large time to perform measurements. In short range highlights the infrared light based sensors, that responds at very high speed but have very low range. The photography obtaining, even video, by cameras, allow acquire many environmental information but normally require a very elaborate processing. The Laser Range Finder are devices based on laser beam broadcasting that respond a very high speed in the vicinity of a few meters around the mobile robot, which make them especially suitable for the continuous use, that allows fast obtain of the nearests obstacles map. In this project we are going to do an measurement exercise with laser range finder URG-04LX-UG01 to confirm its utility in mobile robotics scope.

Calibración geométrica de cámaras no métricas. Estudio de metodologías y modelos matemáticos de distorsión

La Fotogrametría, como ciencia y técnica de obtención de información tridimensional del espacio objeto a partir de imágenes bidimensionales, requiere de medidas de precisión y en ese contexto, la calibración geométrica de cámaras ocupa un lugar importante. El conocimiento de la geometría interna de la cámara es fundamental para lograr mayor precisión en las medidas realizadas. En Fotogrametría Aérea se utilizan cámaras métricas (fabricadas exclusivamente para aplicaciones cartográficas), que incluyen objetivos fotográficos con sistemas de lentes complejos y de alta calidad. Pero en Fotogrametría de Objeto Cercano se está trabajando cada vez con más asiduidad con cámaras no métricas, con ópticas de peor calidad que exigen una calibración geométrica antes o después de cada trabajo. El proceso de calibración encierra tres conceptos fundamentales: modelo de cámara, modelo de distorsión y método de calibración. El modelo de cámara es un modelo matemático que aproxima la transformación proyectiva original a la realidad física de las lentes. Ese modelo matemático incluye una serie de parámetros entre los que se encuentran los correspondientes al modelo de distorsión, que se encarga de corregir los errores sistemáticos de la imagen. Finalmente, el método de calibración propone el método de estimación de los parámetros del modelo matemático y la técnica de optimización a emplear. En esta Tesis se propone la utilización de un patrón de calibración bidimensional que se desplaza en la dirección del eje óptico de la cámara, ofreciendo así tridimensionalidad a la escena fotografiada. El patrón incluye un número elevado de marcas, lo que permite realizar ensayos con distintas configuraciones geométricas. Tomando el modelo de proyección perspectiva (o pinhole) como modelo de cámara, se realizan ensayos con tres modelos de distorsión diferentes, el clásico de distorsión radial y tangencial propuesto por D.C. Brown, una aproximación por polinomios de Legendre y una interpolación bicúbica. De la combinación de diferentes configuraciones geométricas y del modelo de distorsión más adecuado, se llega al establecimiento de una metodología de calibración óptima. Para ayudar a la elección se realiza un estudio de las precisiones obtenidas en los distintos ensayos y un control estereoscópico de un panel test construido al efecto. ABSTRACT Photogrammetry, as science and technique for obtaining three-dimensional information of the space object from two-dimensional images, requires measurements of precision and in that context, the geometric camera calibration occupies an important place. The knowledge of the internal geometry of the camera is fundamental to achieve greater precision in measurements made. Metric cameras (manufactured exclusively for cartographic applications), including photographic lenses with complex lenses and high quality systems are used in Aerial Photogrammetry. But in Close Range Photogrammetry is working increasingly more frequently with non-metric cameras, worst quality optical components which require a geometric calibration before or after each job. The calibration process contains three fundamental concepts: camera model, distortion model and method of calibration. The camera model is a mathematical model that approximates the original projective transformation to the physical reality of the lenses. The mathematical model includes a series of parameters which include the correspondents to the model of distortion, which is in charge of correcting the systematic errors of the image. Finally, the calibration method proposes the method of estimation of the parameters of the mathematical modeling and optimization technique to employ. This Thesis is proposing the use of a pattern of two dimensional calibration that moves in the direction of the optical axis of the camera, thus offering three-dimensionality to the photographed scene. The pattern includes a large number of marks, which allows testing with different geometric configurations. Taking the projection model perspective (or pinhole) as a model of camera, tests are performed with three different models of distortion, the classical of distortion radial and tangential proposed by D.C. Brown, an approximation by Legendre polynomials and bicubic interpolation. From the combination of different geometric configurations and the most suitable distortion model, brings the establishment of a methodology for optimal calibration. To help the election, a study of the information obtained in the various tests and a purpose built test panel stereoscopic control is performed.

Desarrollo de tecnologías de telemanipulación con alto grado de escalado orientadas a la interacción hombre-robot en entornos nucleares

Esta tesis se centra en desarrollo de tecnologías para la interacción hombre-robot en entornos nucleares de fusión. La problemática principal del sector de fusión nuclear radica en las condiciones ambientales tan extremas que hay en el interior del reactor, y la necesidad de que los equipos cumplan requisitos muy restrictivos para poder aguantar esos niveles de radiación, magnetismo, ultravacío, temperatura... Como no es viable la ejecución de tareas directamente por parte de humanos, habrá que utilizar dispositivos de manipulación remota para llevar a cabo los procesos de operación y mantenimiento. En las instalaciones de ITER es obligatorio tener un entorno controlado de extrema seguridad, que necesita de estándares validados. La definición y uso de protocolos es indispensable para regir su buen funcionamiento. Si nos centramos en la telemanipulación con algo grado de escalado, surge la necesidad de definir protocolos para sistemas abiertos que permitan la interacción entre equipos y dispositivos de diversa índole. En este contexto se plantea la definición del Protocolo de Teleoperación que permita la interconexión entre dispositivos maestros y esclavos de distinta tipología, pudiéndose comunicar bilateralmente entre sí y utilizar distintos algoritmos de control según la tarea a desempeñar. Este protocolo y su interconectividad se han puesto a prueba en la Plataforma Abierta de Teleoperación (P.A.T.) que se ha desarrollado e integrado en la ETSII UPM como una herramienta que permita probar, validar y realizar experimentos de telerrobótica. Actualmente, este Protocolo de Teleoperación se ha propuesto a través de AENOR al grupo ISO de Telerobotics como una solución válida al problema existente y se encuentra bajo revisión. Con el diseño de dicho protocolo se ha conseguido enlazar maestro y esclavo, sin embargo con los niveles de radiación tan altos que hay en ITER la electrónica del controlador no puede entrar dentro del tokamak. Por ello se propone que a través de una mínima electrónica convenientemente protegida se puedan multiplexar las señales de control que van a través del cableado umbilical desde el controlador hasta la base del robot. En este ejercicio teórico se demuestra la utilidad y viabilidad de utilizar este tipo de solución para reducir el volumen y peso del cableado umbilical en cifras aproximadas de un 90%, para ello hay que desarrollar una electrónica específica y con certificación RadHard para soportar los enormes niveles de radiación de ITER. Para este manipulador de tipo genérico y con ayuda de la Plataforma Abierta de Teleoperación, se ha desarrollado un algoritmo que mediante un sensor de fuerza/par y una IMU colocados en la muñeca del robot, y convenientemente protegidos ante la radiación, permiten calcular las fuerzas e inercias que produce la carga, esto es necesario para poder transmitirle al operador unas fuerzas escaladas, y que pueda sentir la carga que manipula, y no otras fuerzas que puedan influir en el esclavo remoto, como ocurre con otras técnicas de estimación de fuerzas. Como el blindaje de los sensores no debe ser grande ni pesado, habrá que destinar este tipo de tecnología a las tareas de mantenimiento de las paradas programadas de ITER, que es cuando los niveles de radiación están en sus valores mínimos. Por otro lado para que el operador sienta lo más fielmente posible la fuerza de carga se ha desarrollado una electrónica que mediante el control en corriente de los motores permita realizar un control en fuerza a partir de la caracterización de los motores del maestro. Además para aumentar la percepción del operador se han realizado unos experimentos que demuestran que al aplicar estímulos multimodales (visuales, auditivos y hápticos) aumenta su inmersión y el rendimiento en la consecución de la tarea puesto que influyen directamente en su capacidad de respuesta. Finalmente, y en referencia a la realimentación visual del operador, en ITER se trabaja con cámaras situadas en localizaciones estratégicas, si bien el humano cuando manipula objetos hace uso de su visión binocular cambiando constantemente el punto de vista adecuándose a las necesidades visuales de cada momento durante el desarrollo de la tarea. Por ello, se ha realizado una reconstrucción tridimensional del espacio de la tarea a partir de una cámara-sensor RGB-D, lo cual nos permite obtener un punto de vista binocular virtual móvil a partir de una cámara situada en un punto fijo que se puede proyectar en un dispositivo de visualización 3D para que el operador pueda variar el punto de vista estereoscópico según sus preferencias. La correcta integración de estas tecnologías para la interacción hombre-robot en la P.A.T. ha permitido validar mediante pruebas y experimentos para verificar su utilidad en la aplicación práctica de la telemanipulación con alto grado de escalado en entornos nucleares de fusión. Abstract This thesis focuses on developing technologies for human-robot interaction in nuclear fusion environments. The main problem of nuclear fusion sector resides in such extreme environmental conditions existing in the hot-cell, leading to very restrictive requirements for equipment in order to deal with these high levels of radiation, magnetism, ultravacuum, temperature... Since it is not feasible to carry out tasks directly by humans, we must use remote handling devices for accomplishing operation and maintenance processes. In ITER facilities it is mandatory to have a controlled environment of extreme safety and security with validated standards. The definition and use of protocols is essential to govern its operation. Focusing on Remote Handling with some degree of escalation, protocols must be defined for open systems to allow interaction among different kind of equipment and several multifunctional devices. In this context, a Teleoperation Protocol definition enables interconnection between master and slave devices from different typologies, being able to communicate bilaterally one each other and using different control algorithms depending on the task to perform. This protocol and its interconnectivity have been tested in the Teleoperation Open Platform (T.O.P.) that has been developed and integrated in the ETSII UPM as a tool to test, validate and conduct experiments in Telerobotics. Currently, this protocol has been proposed for Teleoperation through AENOR to the ISO Telerobotics group as a valid solution to the existing problem, and it is under review. Master and slave connection has been achieved with this protocol design, however with such high radiation levels in ITER, the controller electronics cannot enter inside the tokamak. Therefore it is proposed a multiplexed electronic board, that through suitable and RadHard protection processes, to transmit control signals through an umbilical cable from the controller to the robot base. In this theoretical exercise the utility and feasibility of using this type of solution reduce the volume and weight of the umbilical wiring approximate 90% less, although it is necessary to develop specific electronic hardware and validate in RadHard qualifications in order to handle huge levels of ITER radiation. Using generic manipulators does not allow to implement regular sensors for force feedback in ITER conditions. In this line of research, an algorithm to calculate the forces and inertia produced by the load has been developed using a force/torque sensor and IMU, both conveniently protected against radiation and placed on the robot wrist. Scaled forces should be transmitted to the operator, feeling load forces but not other undesirable forces in slave system as those resulting from other force estimation techniques. Since shielding of the sensors should not be large and heavy, it will be necessary to allocate this type of technology for programmed maintenance periods of ITER, when radiation levels are at their lowest levels. Moreover, the operator perception needs to feel load forces as accurate as possible, so some current control electronics were developed to perform a force control of master joint motors going through a correct motor characterization. In addition to increase the perception of the operator, some experiments were conducted to demonstrate applying multimodal stimuli (visual, auditory and haptic) increases immersion and performance in achieving the task since it is directly correlated with response time. Finally, referring to the visual feedback to the operator in ITER, it is usual to work with 2D cameras in strategic locations, while humans use binocular vision in direct object manipulation, constantly changing the point of view adapting it to the visual needs for performing manipulation during task procedures. In this line a three-dimensional reconstruction of non-structured scenarios has been developed using RGB-D sensor instead of cameras in the remote environment. Thus a mobile virtual binocular point of view could be generated from a camera at a fixed point, projecting stereoscopic images in 3D display device according to operator preferences. The successful integration of these technologies for human-robot interaction in the T.O.P., and validating them through tests and experiments, verify its usefulness in practical application of high scaling remote handling at nuclear fusion environments.

Análisis de la marcha: evaluación de un exoesqueleto aplicado a la marcha asistida

La marcha humana es el mecanismo de locomoción por el cual el cuerpo humano se traslada en línea recta gracias a una serie de movimientos coordinados de la pelvis y de las articulaciones del miembro inferior. Frecuentemente se encuentra influenciada por factores biomecánicos, anatómicos o patologías del sistema neuromusculoesquelético que modifican la forma de caminar de cada individuo. La lesión de médula espinal es una de las patologías que afectan el desarrollo normal de los patrones de la marcha por alteración de la movilidad, de la sensibilidad o del sistema nervioso autónomo. Aunque la lesión medular afecta otras funciones, además de la pérdida de función motora y sensorial, la recuperación de la capacidad de caminar es la mayor prioridad identificada por los pacientes durante la rehabilitación. Por ello, el desarrollo de dispositivos que faciliten la rehabilitación o compensación de la marcha es uno de los principales objetivos de diferentes grupos de investigación y empresas. En el contexto del proyecto Hybrid Technological Platform for Rehabilitation, Functional Compensation and Training of Gait in Spinal Cord Injury Patients se ha desarrollado un dispositivo que combina una órtesis activa (exoesqueleto) y un andador motorizado. Este sistema, como otros dispositivos, tiene el movimiento humano como estándar de referencia, no obstante no se evalúa de manera habitual, cómo es el patrón de la marcha reproducido y su similitud o diferencias con la marcha humana, o las modificaciones o adaptaciones en la interacción con el cuerpo del paciente. El presente estudio trata de examinar las características de la marcha normal en diversos grupos de población, y las diferencias con el patrón de marcha lenta. Finalmente, se pretende evaluar qué modificaciones y adaptaciones sufre el patrón de marcha lenta teórico al ser reproducido por el exoesqueleto. La presente investigación consiste en un estudio cuantitativo transversal desarrollado en dos etapas: estudio 1 y estudio 2. En el estudio 1 se analizó el patrón de la marcha a velocidad libremente seleccionada (normal) y el patrón de la marcha a velocidad lenta (0.25m/s) en 62 sujetos distribuidos en grupos considerando el sexo y los percentiles 25, 50 y 75 de estatura de la población española. Durante el estudio 2 se analizó el patrón de la marcha lenta reproducido por el dispositivo Hybrid a diferentes porcentajes de peso corporal (30%, 50% y 70%) en diez sujetos seleccionados aleatoriamente de la muestra del estudio 1. En ambos estudios se obtuvieron variables espacio-temporales y cinemáticas mediante un sistema de captura de movimiento con 6 cámaras distribuidas a lo largo de un pasillo de marcha. Se calcularon las medias, las desviaciones estándar y el 95% de intervalo de confianza, y el nivel alfa de significación se estableció en α=0.05 para todas las pruebas estadísticas. Las principales diferencias en el patrón normal de la marcha se encontraron en los parámetros cinemáticos de hombres y mujeres, aunque también se presentaron diferencias entre los grupos en función de la estatura. Las mujeres mostraron mayor flexión de cadera y rodilla, y mayor extensión de tobillo que los hombres durante el ciclo normal, aunque la basculación lateral de la pelvis, mayor en las mujeres, y el desplazamiento lateral del centro de gravedad, mayor en los hombres, fueron los parámetros identificados como principales discriminantes entre sexos. La disminución de la velocidad de la marcha mostró similares adaptaciones y modificaciones en hombres y en mujeres, presentándose un aumento de la fase de apoyo y una disminución de la fase de oscilación, un retraso de los máximos y mínimos de flexoextensión de cadera, rodilla y tobillo, y una disminución del rango articular en las tres articulaciones. Asimismo, la basculación lateral de la pelvis y el movimiento vertical del centro de gravedad disminuyeron, mientras que el movimiento lateral del centro de gravedad y el ancho de paso aumentaron. Durante la evaluación del patrón de la marcha reproducido por el exoesqueleto se observó que las tres articulaciones del miembro inferior disminuían el rango de movimiento por la falta de fuerza de los motores para contrarrestar el peso corporal, incluso con un 70% de descarga de peso. Además, la transferencia de peso se encontró limitada por la falta de movimiento de la pelvis en el plano frontal y se sustituyó por un aumento de la inclinación del tronco y, por tanto, del movimiento lateral del centro de gravedad. Este hecho, junto al aumento del desplazamiento vertical del centro de gravedad, hizo del patrón de la marcha reproducido por el exoesqueleto un movimiento poco eficiente. En conclusión, se establecen patrones de marcha normal diferenciados por sexos, siendo la basculación lateral de la pelvis y el movimiento lateral del centro de gravedad los parámetros discriminantes más característicos entre sexos. Comparando la marcha a velocidad libremente seleccionada y la velocidad lenta, se concluye que ambos sexos utilizan estrategias similares para adaptar el patrón de la marcha a una velocidad lenta y se mantienen las características diferenciadoras entre hombres y mujeres. En relación a la evaluación del dispositivo Hybrid, se deduce que la falta de movimiento lateral de la pelvis condiciona la transferencia de peso y el aumento del rango de movimiento del centro de gravedad y, en consecuencia, tiene como resultado un patrón de la marcha poco eficiente. Este patrón no resultaría indicado para los procesos de rehabilitación o recuperación de la marcha, aunque podría considerarse adecuado para la compensación funcional de la bipedestación y la locomoción. ABSTRACT The human walking is a means of moving body forward using a repetitious and coordinated sequence of pelvis and lower limb motions. It is frequently influenced by biomechanical and anatomical factors or by musculoskeletal pathologies which modify the way of walking. The spinal injury is one of those pathologies which affect the normal pattern of walking, due to the alteration of the mobility, the sensory or the autonomic nervous system. Although the spinal injury affects many other body functions, apart from the motor and sensory ones, the main priority for patients is to recover the ability of walking. Consequently, the main objective of many research groups and private companies is the development of rehabilitation and compensation devices for walking. In this context, the Hybrid Technological Platform for Rehabilitation, Functional Compensation and Training of Gait in Spinal Cord Injury Patients project has developed a device which integrates an exoskeleton and a motorized smart walker. This system, as other similar devices, has the human movement as standard reference. Nevertheless, these devices are not usually evaluated on the way they reproduce the normal human pattern or on the modifications and in the interactions with the patient’s body. The aim of the present study is to examine the normal walking characteristics, to analyze the differences between self-selected and low speed walking patterns, and to evaluate the modifications and adaptations of walking pattern when it is reproduced by the exoskeleton. The present research is a quantitative cross-sectional study carried out in two phases: study 1 and study 2. During the study 1, the self-selected and the low speed (0.25m/s) walking patterns were analyzed in sixty-two people distributed in groups, according to sex and 25th, 50th and 75th percentiles of height for Spanish population. The study 2 analyzed the low speed walking pattern reproduced by the Hybrid system in three conditions: 30%, 50% and 70% of body weight support. To do this, ten subjects were randomly selected and analyzed from the people of study 1. An optoelectronic system with six cameras was used to obtain spatial, temporal and kinematic parameters in both studies. Means, standard deviations and 95% confidence intervals of the study were calculated. The alpha level of significance was set at α=0.05 for all statistical tests. The main differences in normal gait pattern were found in kinematic parameters between men and women. The hip and the knee were more flexed and the ankle plantar flexion was higher in women than in men during normal gait cycle. Although the greater pelvic obliquity of women and the higher lateral movement of center of gravity of men were the most relevant discriminators between male and female gait patterns. Comparing self-selected and low speed walking patterns, both sexes showed similar adaptations and modifications. At low speed walking, men and women increased the stance phase ratio and decreased the swing phase ratio. The maximum and minimum peak flexion of hip, knee and ankle appeared after and the range of motion of them decreased during low speed walking. Furthermore, the pelvic obliquity and the vertical movement of the center of gravity decreased, whereas the lateral movement of center of gravity and step width increased. Evaluating the gait pattern reproduced by the exoskeleton, a decrease of lower limb range of motion was observed. This was probably due to the lack of strength of the engines, which were not able to control the body weight, even with the 70% supported. Moreover, the weight transfer from one limb to the contralateral side was restricted due to the lack of pelvis obliquity. This movement deficiency was replaced by the lateral torso sway and, consequently, the increase of lateral movement of the center of gravity. This fact, as well as the increase of the vertical displacement of the center of gravity, made inefficient the gait pattern reproduced by the exoskeleton. In conclusion, different gait patterns of both sexes have been determined, being pelvis obliquity and lateral movement of center of gravity the most relevant discriminators between male and female gait patterns. Comparing self-selected and low speed walking patterns, it was concluded that both sexes use similar strategies for adapting the gait pattern to a low speed, and therefore, the differentiating characteristics of normal gait are maintained. Regarding the Hybrid system evaluation, it was determined that the gait pattern reproduced by the exoskeleton is inefficient. This was due to the lack of pelvis obliquity and the increase of the center of gravity displacement. Consequently, whereas the walking pattern reproduced by the exoskeleton would not be appropriated for the rehabilitation process, it could be considered suitable for functional compensation of walking and standing.

Seamless, Static Multi-Texturing of 3D Meshes

In the context of 3D reconstruction, we present a static multi-texturing system yielding a seamless texture atlas calculated by combining the colour information from several photos from the same subject covering most of its surface. These pictures can be provided by shooting just one camera several times when reconstructing a static object, or a set of synchronized cameras, when dealing with a human or any other moving object. We suppress the colour seams due to image misalignments and irregular lighting conditions that multi-texturing approaches typically suffer from, while minimizing the blurring effect introduced by colour blending techniques. Our system is robust enough to compensate for the almost inevitable inaccuracies of 3D meshes obtained with visual hull–based techniques: errors in silhouette segmentation, inherently bad handling of concavities, etc.