Object tracking using direct methods in RGB-D cameras

En esta tesis se presenta un análisis en profundidad de cómo se deben utilizar dos tipos de métodos directos, Lucas-Kanade e Inverse Compositional, en imágenes RGB-D y se analiza la capacidad y precisión de los mismos en una serie de experimentos sintéticos. Estos simulan imágenes RGB, imágenes de profundidad (D) e imágenes RGB-D para comprobar cómo se comportan en cada una de las combinaciones. Además, se analizan estos métodos sin ninguna técnica adicional que modifique el algoritmo original ni que lo apoye en su tarea de optimización tal y como sucede en la mayoría de los artículos encontrados en la literatura. Esto se hace con el fin de poder entender cuándo y por qué los métodos convergen o divergen para que así en el futuro cualquier interesado pueda aplicar los conocimientos adquiridos en esta tesis de forma práctica. Esta tesis debería ayudar al futuro interesado a decidir qué algoritmo conviene más en una determinada situación y debería también ayudarle a entender qué problemas le pueden dar estos algoritmos para poder poner el remedio más apropiado. Las técnicas adicionales que sirven de remedio para estos problemas quedan fuera de los contenidos que abarca esta tesis, sin embargo, sí se hace una revisión sobre ellas.---ABSTRACT---This thesis presents an in-depth analysis about how direct methods such as Lucas- Kanade and Inverse Compositional can be applied in RGB-D images. The capability and accuracy of these methods is also analyzed employing a series of synthetic experiments. These simulate the efects produced by RGB images, depth images and RGB-D images so that diferent combinations can be evaluated. Moreover, these methods are analyzed without using any additional technique that modifies the original algorithm or that aids the algorithm in its search for a global optima unlike most of the articles found in the literature. Our goal is to understand when and why do these methods converge or diverge so that in the future, the knowledge extracted from the results presented here can efectively help a potential implementer. After reading this thesis, the implementer should be able to decide which algorithm fits best for a particular task and should also know which are the problems that have to be addressed in each algorithm so that an appropriate correction is implemented using additional techniques. These additional techniques are outside the scope of this thesis, however, they are reviewed from the literature.

Random-modulation cw lidar system for space-borne carbon dioxide remote sensing based on a high-brightness semiconductor laser

In this paper, we report on the progresses of the BRITESPACE Consortium in order to achieve space-borne LIDAR measurements of atmospheric carbon dioxide concentration based on an all semiconductor laser source at 1.57 ?m. The complete design of the proposed RM-CW IPDA LIDAR has been presented and described in detail. Complete descriptions of the laser module and the FSU have been presented. Two bended MOPAs, emitting at the sounding frequency of the on- and off- IPDA channels, have been proposed as the transmitter optical sources with the required high brightness. Experimental results on the bended MOPAs have been presented showing a high spectral purity and promising expectations on the high output power requirements. Finally, the RM-CW approach has been modelled and an estimation of the expected SNR for the entire system is presented. Preliminary results indicate that a CO2 retrieval precision of 1.5 ppm could be achieved with an average output power of 2 W for each channel.

Laser remote sensing applications (LiDAR) in forest hydrology and the management of river ecosystems.

La utilización de sensores láser desde plataformas aéreas (LiDAR) ofrece nuevas posibilidades en el cartografiado de sistemas fluviales, tanto en áreas densamente cubiertas por vegetación, como en aquellas que presentan una escasa cubierta. La información topográfica de alta resolución que se obtiene a partir de las medidas láser puede ser utilizada en el análisis y estimación de diversas variables hidrológicas, y en el estudio de diferentes componentes del medio fluvial. Entre éstas, cabe citar la vegetación riparia, la morfología fluvial, el régimen hidrológico o el grado de alteración de los ecosistemas debido a las presiones de origen antrópico. La gestión del medio fluvial puede ser mejorada en gran medida gracias a la precisión y fiabilidad de esta información. En muchas ocasiones, el escaso relieve de los valles fluviales y la densa cubierta vegetal que existe en ellos han dificultado la aplicación de otras técnicas de teledetección. Sin embargo, los datos obtenidos mediante altimetría láser son especialmente aconsejables para estos trabajos, mediante análisis numéricos o a través de la simple interpretación de las imágenes obtenidas. Este artículo muestra las posibilidades de uso de los datos LiDAR en hidrología forestal y en la gestión de zonas húmedas, a lo largo de tramos con condiciones climáticas bien diferenciadas. En todas ellas, se comparan los resultados obtenidos mediante la aplicación de distinto software, con el fin de mostrar la mejor metodología de tratamiento de la información láser. Asimismo, se muestra la diferencia con otras técnicas de teledetección, y se muestra la fácil integración de los datos LiDAR con otras herramientas y metodologías de estudio de las variables citadas.

LiDAR remote sensing applied to forest resources assessment

Disponer de información precisa y actualizada de inventario forestal es una pieza clave para mejorar la gestión forestal sostenible y para proponer y evaluar políticas de conservación de bosques que permitan la reducción de emisiones de carbono debidas a la deforestación y degradación forestal (REDD). En este sentido, la tecnología LiDAR ha demostrado ser una herramienta perfecta para caracterizar y estimar de forma continua y en áreas extensas la estructura del bosque y las principales variables de inventario forestal. Variables como la biomasa, el número de pies, el volumen de madera, la altura dominante, el diámetro o la altura media son estimadas con una calidad comparable a los inventarios tradicionales de campo. La presente tesis se centra en analizar la aplicación de los denominados métodos de masa de inventario forestal con datos LIDAR bajo diferentes condiciones y características de masa forestal (bosque templados puros y mixtos) y utilizando diferentes bases de datos LiDAR (información proveniente de vuelo nacionales e información capturada de forma específica). Como consecuencia de lo anterior, se profundiza en la generación de inventarios forestales continuos con LiDAR en grandes áreas. Los métodos de masa se basan en la búsqueda de relaciones estadísticas entre variables predictoras derivadas de la nube de puntos LiDAR y las variables de inventario forestal medidas en campo con el objeto de generar una cartografía continua de inventario forestal. El rápido desarrollo de esta tecnología en los últimos años ha llevado a muchos países a implantar programas nacionales de captura de información LiDAR aerotransportada. Estos vuelos nacionales no están pensados ni diseñados para fines forestales por lo que es necesaria la evaluación de la validez de esta información LiDAR para la descripción de la estructura del bosque y la medición de variables forestales. Esta información podría suponer una drástica reducción de costes en la generación de información continua de alta resolución de inventario forestal. En el capítulo 2 se evalúa la estimación de variables forestales a partir de la información LiDAR capturada en el marco del Plan Nacional de Ortofotografía Aérea (PNOA-LiDAR) en España. Para ello se compara un vuelo específico diseñado para inventario forestal con la información de la misma zona capturada dentro del PNOA-LiDAR. El caso de estudio muestra cómo el ángulo de escaneo, la pendiente y orientación del terreno afectan de forma estadísticamente significativa, aunque con pequeñas diferencias, a la estimación de biomasa y variables de estructura forestal derivadas del LiDAR. La cobertura de copas resultó más afectada por estos factores que los percentiles de alturas. Considerando toda la zona de estudio, la estimación de la biomasa con ambas bases de datos no presentó diferencias estadísticamente significativas. Las simulaciones realizadas muestran que las diferencias medias en la estimación de biomasa entre un vuelo específico y el vuelo nacional podrán superar el 4% en áreas abruptas, con ángulos de escaneo altos y cuando la pendiente de la ladera no esté orientada hacia la línea de escaneo. En el capítulo 3 se desarrolla un estudio en masas mixtas y puras de pino silvestre y haya, con un enfoque multi-fuente empleando toda la información disponible (vuelos LiDAR nacionales de baja densidad de puntos, imágenes satelitales Landsat y parcelas permanentes del inventario forestal nacional español). Se concluye que este enfoque multi-fuente es adecuado para realizar inventarios forestales continuos de alta resolución en grandes superficies. Los errores obtenidos en la fase de ajuste y de validación de los modelos de área basimétrica y volumen son similares a los registrados por otros autores (usando un vuelo específico y parcelas de campo específicas). Se observan errores mayores en la variable número de pies que los encontrados en la literatura, que pueden ser explicados por la influencia de la metodología de parcelas de radio variable en esta variable. En los capítulos 4 y 5 se evalúan los métodos de masa para estimar biomasa y densidad de carbono en bosques tropicales. Para ello se trabaja con datos del Parque Nacional Volcán Poás (Costa Rica) en dos situaciones diferentes: i) se dispone de una cobertura completa LiDAR del área de estudio (capitulo 4) y ii) la cobertura LiDAR completa no es técnica o económicamente posible y se combina una cobertura incompleta de LiDAR con imágenes Landsat e información auxiliar para la estimación de biomasa y carbono (capitulo 5). En el capítulo 4 se valida un modelo LiDAR general de estimación de biomasa aérea en bosques tropicales y se compara con los resultados obtenidos con un modelo ajustado de forma específica para el área de estudio. Ambos modelos están basados en la variable altura media de copas (TCH por sus siglas en inglés) derivada del modelo digital LiDAR de altura de la vegetación. Los resultados en el área de estudio muestran que el modelo general es una alternativa fiable al ajuste de modelos específicos y que la biomasa aérea puede ser estimada en una nueva zona midiendo en campo únicamente la variable área basimétrica (BA). Para mejorar la aplicación de esta metodología es necesario definir en futuros trabajos procedimientos adecuados de medición de la variable área basimétrica en campo (localización, tamaño y forma de las parcelas de campo). La relación entre la altura media de copas del LiDAR y el área basimétrica (Coeficiente de Stock) obtenida en el área de estudio varía localmente. Por tanto es necesario contar con más información de campo para caracterizar la variabilidad del Coeficiente de Stock entre zonas de vida y si estrategias como la estratificación pueden reducir los errores en la estimación de biomasa y carbono en bosques tropicales. En el capítulo 5 se concluye que la combinación de una muestra sistemática de información LiDAR con una cobertura completa de imagen satelital de moderada resolución (e información auxiliar) es una alternativa efectiva para la realización de inventarios continuos en bosques tropicales. Esta metodología permite estimar altura de la vegetación, biomasa y carbono en grandes zonas donde la captura de una cobertura completa de LiDAR y la realización de un gran volumen de trabajo de campo es económica o/y técnicamente inviable. Las alternativas examinadas para la predicción de biomasa a partir de imágenes Landsat muestran una ligera disminución del coeficiente de determinación y un pequeño aumento del RMSE cuando la cobertura de LiDAR es reducida de forma considerable. Los resultados indican que la altura de la vegetación, la biomasa y la densidad de carbono pueden ser estimadas en bosques tropicales de forma adecuada usando coberturas de LIDAR bajas (entre el 5% y el 20% del área de estudio). ABSTRACT The availability of accurate and updated forest data is essential for improving sustainable forest management, promoting forest conservation policies and reducing carbon emissions from deforestation and forest degradation (REDD). In this sense, LiDAR technology proves to be a clear-cut tool for characterizing forest structure in large areas and assessing main forest-stand variables. Forest variables such as biomass, stem volume, basal area, mean diameter, mean height, dominant height, and stem number can be thus predicted with better or comparable quality than with costly traditional field inventories. In this thesis, it is analysed the potential of LiDAR technology for the estimation of plot-level forest variables under a range of conditions (conifer & broadleaf temperate forests and tropical forests) and different LiDAR capture characteristics (nationwide LiDAR information vs. specific forest LiDAR data). This study evaluates the application of LiDAR-based plot-level methods in large areas. These methods are based on statistical relationships between predictor variables (derived from airborne data) and field-measured variables to generate wall to wall forest inventories. The fast development of this technology in recent years has led to an increasing availability of national LiDAR datasets, usually developed for multiple purposes throughout an expanding number of countries and regions. The evaluation of the validity of nationwide LiDAR databases (not designed specifically for forest purposes) is needed and presents a great opportunity for substantially reducing the costs of forest inventories. In chapter 2, the suitability of Spanish nationwide LiDAR flight (PNOA) to estimate forest variables is analyzed and compared to a specifically forest designed LiDAR flight. This study case shows that scan angle, terrain slope and aspect significantly affect the assessment of most of the LiDAR-derived forest variables and biomass estimation. Especially, the estimation of canopy cover is more affected than height percentiles. Considering the entire study area, biomass estimations from both databases do not show significant differences. Simulations show that differences in biomass could be larger (more than 4%) only in particular situations, such as steep areas when the slopes are non-oriented towards the scan lines and the scan angles are larger than 15º. In chapter 3, a multi-source approach is developed, integrating available databases such as nationwide LiDAR flights, Landsat imagery and permanent field plots from SNFI, with good resultos in the generation of wall to wall forest inventories. Volume and basal area errors are similar to those obtained by other authors (using specific LiDAR flights and field plots) for the same species. Errors in the estimation of stem number are larger than literature values as a consequence of the great influence that variable-radius plots, as used in SNFI, have on this variable. In chapters 4 and 5 wall to wall plot-level methodologies to estimate aboveground biomass and carbon density in tropical forest are evaluated. The study area is located in the Poas Volcano National Park (Costa Rica) and two different situations are analyzed: i) available complete LiDAR coverage (chapter 4) and ii) a complete LiDAR coverage is not available and wall to wall estimation is carried out combining LiDAR, Landsat and ancillary data (chapter 5). In chapter 4, a general aboveground biomass plot-level LiDAR model for tropical forest (Asner & Mascaro, 2014) is validated and a specific model for the study area is fitted. Both LiDAR plot-level models are based on the top-of-canopy height (TCH) variable that is derived from the LiDAR digital canopy model. Results show that the pantropical plot-level LiDAR methodology is a reliable alternative to the development of specific models for tropical forests and thus, aboveground biomass in a new study area could be estimated by only measuring basal area (BA). Applying this methodology, the definition of precise BA field measurement procedures (e.g. location, size and shape of the field plots) is decisive to achieve reliable results in future studies. The relation between BA and TCH (Stocking Coefficient) obtained in our study area in Costa Rica varied locally. Therefore, more field work is needed for assessing Stocking Coefficient variations between different life zones and the influence of the stratification of the study areas in tropical forests on the reduction of uncertainty. In chapter 5, the combination of systematic LiDAR information sampling and full coverage Landsat imagery (and ancillary data) prove to be an effective alternative for forest inventories in tropical areas. This methodology allows estimating wall to wall vegetation height, biomass and carbon density in large areas where full LiDAR coverage and traditional field work are technically and/or economically unfeasible. Carbon density prediction using Landsat imaginery shows a slight decrease in the determination coefficient and an increase in RMSE when harshly decreasing LiDAR coverage area. Results indicate that feasible estimates of vegetation height, biomass and carbon density can be accomplished using low LiDAR coverage areas (between 5% and 20% of the total area) in tropical locations.

Desarrollo de tecnologías de telemanipulación con alto grado de escalado orientadas a la interacción hombre-robot en entornos nucleares

Esta tesis se centra en desarrollo de tecnologías para la interacción hombre-robot en entornos nucleares de fusión. La problemática principal del sector de fusión nuclear radica en las condiciones ambientales tan extremas que hay en el interior del reactor, y la necesidad de que los equipos cumplan requisitos muy restrictivos para poder aguantar esos niveles de radiación, magnetismo, ultravacío, temperatura... Como no es viable la ejecución de tareas directamente por parte de humanos, habrá que utilizar dispositivos de manipulación remota para llevar a cabo los procesos de operación y mantenimiento. En las instalaciones de ITER es obligatorio tener un entorno controlado de extrema seguridad, que necesita de estándares validados. La definición y uso de protocolos es indispensable para regir su buen funcionamiento. Si nos centramos en la telemanipulación con algo grado de escalado, surge la necesidad de definir protocolos para sistemas abiertos que permitan la interacción entre equipos y dispositivos de diversa índole. En este contexto se plantea la definición del Protocolo de Teleoperación que permita la interconexión entre dispositivos maestros y esclavos de distinta tipología, pudiéndose comunicar bilateralmente entre sí y utilizar distintos algoritmos de control según la tarea a desempeñar. Este protocolo y su interconectividad se han puesto a prueba en la Plataforma Abierta de Teleoperación (P.A.T.) que se ha desarrollado e integrado en la ETSII UPM como una herramienta que permita probar, validar y realizar experimentos de telerrobótica. Actualmente, este Protocolo de Teleoperación se ha propuesto a través de AENOR al grupo ISO de Telerobotics como una solución válida al problema existente y se encuentra bajo revisión. Con el diseño de dicho protocolo se ha conseguido enlazar maestro y esclavo, sin embargo con los niveles de radiación tan altos que hay en ITER la electrónica del controlador no puede entrar dentro del tokamak. Por ello se propone que a través de una mínima electrónica convenientemente protegida se puedan multiplexar las señales de control que van a través del cableado umbilical desde el controlador hasta la base del robot. En este ejercicio teórico se demuestra la utilidad y viabilidad de utilizar este tipo de solución para reducir el volumen y peso del cableado umbilical en cifras aproximadas de un 90%, para ello hay que desarrollar una electrónica específica y con certificación RadHard para soportar los enormes niveles de radiación de ITER. Para este manipulador de tipo genérico y con ayuda de la Plataforma Abierta de Teleoperación, se ha desarrollado un algoritmo que mediante un sensor de fuerza/par y una IMU colocados en la muñeca del robot, y convenientemente protegidos ante la radiación, permiten calcular las fuerzas e inercias que produce la carga, esto es necesario para poder transmitirle al operador unas fuerzas escaladas, y que pueda sentir la carga que manipula, y no otras fuerzas que puedan influir en el esclavo remoto, como ocurre con otras técnicas de estimación de fuerzas. Como el blindaje de los sensores no debe ser grande ni pesado, habrá que destinar este tipo de tecnología a las tareas de mantenimiento de las paradas programadas de ITER, que es cuando los niveles de radiación están en sus valores mínimos. Por otro lado para que el operador sienta lo más fielmente posible la fuerza de carga se ha desarrollado una electrónica que mediante el control en corriente de los motores permita realizar un control en fuerza a partir de la caracterización de los motores del maestro. Además para aumentar la percepción del operador se han realizado unos experimentos que demuestran que al aplicar estímulos multimodales (visuales, auditivos y hápticos) aumenta su inmersión y el rendimiento en la consecución de la tarea puesto que influyen directamente en su capacidad de respuesta. Finalmente, y en referencia a la realimentación visual del operador, en ITER se trabaja con cámaras situadas en localizaciones estratégicas, si bien el humano cuando manipula objetos hace uso de su visión binocular cambiando constantemente el punto de vista adecuándose a las necesidades visuales de cada momento durante el desarrollo de la tarea. Por ello, se ha realizado una reconstrucción tridimensional del espacio de la tarea a partir de una cámara-sensor RGB-D, lo cual nos permite obtener un punto de vista binocular virtual móvil a partir de una cámara situada en un punto fijo que se puede proyectar en un dispositivo de visualización 3D para que el operador pueda variar el punto de vista estereoscópico según sus preferencias. La correcta integración de estas tecnologías para la interacción hombre-robot en la P.A.T. ha permitido validar mediante pruebas y experimentos para verificar su utilidad en la aplicación práctica de la telemanipulación con alto grado de escalado en entornos nucleares de fusión. Abstract This thesis focuses on developing technologies for human-robot interaction in nuclear fusion environments. The main problem of nuclear fusion sector resides in such extreme environmental conditions existing in the hot-cell, leading to very restrictive requirements for equipment in order to deal with these high levels of radiation, magnetism, ultravacuum, temperature... Since it is not feasible to carry out tasks directly by humans, we must use remote handling devices for accomplishing operation and maintenance processes. In ITER facilities it is mandatory to have a controlled environment of extreme safety and security with validated standards. The definition and use of protocols is essential to govern its operation. Focusing on Remote Handling with some degree of escalation, protocols must be defined for open systems to allow interaction among different kind of equipment and several multifunctional devices. In this context, a Teleoperation Protocol definition enables interconnection between master and slave devices from different typologies, being able to communicate bilaterally one each other and using different control algorithms depending on the task to perform. This protocol and its interconnectivity have been tested in the Teleoperation Open Platform (T.O.P.) that has been developed and integrated in the ETSII UPM as a tool to test, validate and conduct experiments in Telerobotics. Currently, this protocol has been proposed for Teleoperation through AENOR to the ISO Telerobotics group as a valid solution to the existing problem, and it is under review. Master and slave connection has been achieved with this protocol design, however with such high radiation levels in ITER, the controller electronics cannot enter inside the tokamak. Therefore it is proposed a multiplexed electronic board, that through suitable and RadHard protection processes, to transmit control signals through an umbilical cable from the controller to the robot base. In this theoretical exercise the utility and feasibility of using this type of solution reduce the volume and weight of the umbilical wiring approximate 90% less, although it is necessary to develop specific electronic hardware and validate in RadHard qualifications in order to handle huge levels of ITER radiation. Using generic manipulators does not allow to implement regular sensors for force feedback in ITER conditions. In this line of research, an algorithm to calculate the forces and inertia produced by the load has been developed using a force/torque sensor and IMU, both conveniently protected against radiation and placed on the robot wrist. Scaled forces should be transmitted to the operator, feeling load forces but not other undesirable forces in slave system as those resulting from other force estimation techniques. Since shielding of the sensors should not be large and heavy, it will be necessary to allocate this type of technology for programmed maintenance periods of ITER, when radiation levels are at their lowest levels. Moreover, the operator perception needs to feel load forces as accurate as possible, so some current control electronics were developed to perform a force control of master joint motors going through a correct motor characterization. In addition to increase the perception of the operator, some experiments were conducted to demonstrate applying multimodal stimuli (visual, auditory and haptic) increases immersion and performance in achieving the task since it is directly correlated with response time. Finally, referring to the visual feedback to the operator in ITER, it is usual to work with 2D cameras in strategic locations, while humans use binocular vision in direct object manipulation, constantly changing the point of view adapting it to the visual needs for performing manipulation during task procedures. In this line a three-dimensional reconstruction of non-structured scenarios has been developed using RGB-D sensor instead of cameras in the remote environment. Thus a mobile virtual binocular point of view could be generated from a camera at a fixed point, projecting stereoscopic images in 3D display device according to operator preferences. The successful integration of these technologies for human-robot interaction in the T.O.P., and validating them through tests and experiments, verify its usefulness in practical application of high scaling remote handling at nuclear fusion environments.

Observations of Comet 9P/Tempel 1 around the Deep Impact event by the OSIRIS cameras onboard Rosetta

The OSIRIS cameras on the Rosetta spacecraft observed Comet 9P/Tempel 1 from 5 days before to 10 days after it was hit by the Deep Impact projectile. The Narrow Angle Camera (NAC) monitored the cometary dust in 5 different filters. The Wide Angle Camera (WAC) observed through filters sensitive to emissions from OH, CN, Na, and OI together with the associated continuum. Before and after the impact the comet showed regular variations in intensity. The period of the brightness changes is consistent with the rotation period of Tempel 1. The overall brightness of Tempel 1 decreased by about 10% during the OSIRIS observations. The analysis of the impact ejecta shows that no new permanent coma structures were created by the impact. Most of the material moved with View the MathML source∼200ms−1. Much of it left the comet in the form of icy grains which sublimated and fragmented within the first hour after the impact. The light curve of the comet after the impact and the amount of material leaving the comet (View the MathML source4.5–9×106kg of water ice and a presumably larger amount of dust) suggest that the impact ejecta were quickly accelerated by collisions with gas molecules. Therefore, the motion of the bulk of the ejecta cannot be described by ballistic trajectories, and the validity of determinations of the density and tensile strength of the nucleus of Tempel 1 with models using ballistic ejection of particles is uncertain.

Osiris— The optical, spectroscopic and infrared remote imaging system for the Rosetta orbiter

The scientific objectives, design, and implementation of the Optical, Spectroscopic, and Infrared Remote Imaging System (OSIRIS) for the International Rosetta Mission are described. The instrument comprises two camera systems with a common electronics box. A narrow angle camera will provide high resolution images of the structure and morphology of the nucleus of a comet. A wide angle camera with high straylight rejection and dynamic range will be used to investigate the innermost coma and the emission process at the surface of the comet. An infrared imaging system, which dramatically enhances the scientific return has been included in the narrow angle camera at little extra cost.