Usando Kinect como sensor para una pulverización inteligente.

Este trabajo esta orientado a resolver el problema de la caracterización de la copa de arboles frutales para la aplicacion localizada de fitosanitarios. Esta propuesta utiliza un mapa de profundidad (Depth image) y una imagen RGB combinadas (RGB-D), proporcionados por el sensor Kinect de Microsoft, para aplicar pesticidas de forma localizada. A través del mapa de profundidad se puede estimar la densidad de la copa y a partir de esta información determinar qué boquillas se deben abrir en cada momento. Se desarrollaron algoritmos implementados en Matlab que permiten además de la adquisición de las imágenes RGB-D, aplicar plaguicidas sólo a hojas y/o frutos según se desee. Estos algoritmos fueron implementados en un software que se comunica con el entorno de desarrollo "Kinect Windows SDK", encargado de extraer las imágenes desde el sensor Kinect. Por otra parte, para identificar hojas, se implementaron algoritmos de clasificación e identificación. Los algoritmos de clasificación utilizados fueron "Fuzzy C-Means con Gustafson Kessel" (FCM-GK) y "K-Means". Los centroides o prototipos de cada clase generados por FCM-GK fueron usados como semilla para K-Means, para acelerar la convergencia del algoritmo y mantener la coherencia temporal en los grupos generados por K-Means. Los algoritmos de clasificación fueron aplicados sobre las imágenes transformadas al espacio de color L*a*b*; específicamente se emplearon los canales a*, b* (canales cromáticos) con el fin de reducir el efecto de la luz sobre los colores. Los algoritmos de clasificación fueron configurados para buscar cuatro grupos: hojas, porosidad, frutas y tronco. Una vez que el clasificador genera los prototipos de los grupos, un clasificador denominado Máquina de Soporte Vectorial, que utiliza como núcleo una función Gaussiana base radial, identifica la clase de interés (hojas). La combinación de estos algoritmos ha mostrado bajos errores de clasificación, rendimiento del 4% de error en la identificación de hojas. Además, estos algoritmos de procesamiento de hasta 8.4 imágenes por segundo, lo que permite su aplicación en tiempo real. Los resultados demuestran la viabilidad de utilizar el sensor "Kinect" para determinar dónde y cuándo aplicar pesticidas. Por otra parte, también muestran que existen limitaciones en su uso, impuesta por las condiciones de luz. En otras palabras, es posible usar "Kinect" en exteriores, pero durante días nublados, temprano en la mañana o en la noche con iluminación artificial, o añadiendo un parasol en condiciones de luz intensa.

Efficient spatio-temporal hole filling strategy for Kinect depth maps

In this paper we present an efficient hole filling strategy that improves the quality of the depth maps obtained with the Microsoft Kinect device. The proposed approach is based on a joint-bilateral filtering framework that includes spatial and temporal information. The missing depth values are obtained applying iteratively a joint-bilateral filter to their neighbor pixels. The filter weights are selected considering three different factors: visual data, depth information and a temporal-consistency map. Video and depth data are combined to improve depth map quality in presence of edges and homogeneous regions. Finally, the temporal-consistency map is generated in order to track the reliability of the depth measurements near the hole regions. The obtained depth values are included iteratively in the filtering process of the successive frames and the accuracy of the hole regions depth values increases while new samples are acquired and filtered

Background foreground segmentation with RGB-D Kinect data: An efficient combination of classifiers

Low cost RGB-D cameras such as the Microsoft’s Kinect or the Asus’s Xtion Pro are completely changing the computer vision world, as they are being successfully used in several applications and research areas. Depth data are particularly attractive and suitable for applications based on moving objects detection through foreground/background segmentation approaches; the RGB-D applications proposed in literature employ, in general, state of the art foreground/background segmentation techniques based on the depth information without taking into account the color information. The novel approach that we propose is based on a combination of classifiers that allows improving background subtraction accuracy with respect to state of the art algorithms by jointly considering color and depth data. In particular, the combination of classifiers is based on a weighted average that allows to adaptively modifying the support of each classifier in the ensemble by considering foreground detections in the previous frames and the depth and color edges. In this way, it is possible to reduce false detections due to critical issues that can not be tackled by the individual classifiers such as: shadows and illumination changes, color and depth camouflage, moved background objects and noisy depth measurements. Moreover, we propose, for the best of the author’s knowledge, the first publicly available RGB-D benchmark dataset with hand-labeled ground truth of several challenging scenarios to test background/foreground segmentation algorithms.

Plataforma terapeútica basada en Kinect para niños con parálisis cerebral infantil

El sistema SONRIE (Sistema de terapia, basadO en KiNect, paRa nIños con parálisis cErebral), realizado como Proyecto Fin de Grado por Dña. Estefanía Sampedro Sánchez, se desarrolló con el fin de permitir el proceso de rehabilitación de los músculos faciales en niños con Parálisis Cerebral Infantil (PCI). SONRIE se compone de una plataforma de juegos cuyo objetivo es lograr una mejora terapéutica en la musculatura orofacial de niños diagnosticados de PCI con edades comprendidas entre los 4 y los 12 años. El escenario de aplicación del sistema SONRIE son las escuelas de integración que tienen escolarizados alumnos diagnosticados con este trastorno. La posibilidad de rehabilitación de los músculos faciales mediante tratamientos que se apoyan en el uso de sistemas telemáticos, junto con el empleo de tecnologías actuales (Realidad Virtual, Realidad Aumentada y Serious Games) supone una gran innovación en el entorno de la neuro-rehabilitación, entendida como el proceso de terapia que permite optimizar la participación de una persona en la sociedad, alcanzando un grado de bienestar óptimo. El trabajo realizado en este Proyecto Fin de Grado pretende escalar el sistema SONRIE, mediante el análisis, diseño y desarrollo de un Framework encargado de facilitar, ampliar y validar el uso adecuado del sistema SONRIE en entornos escolares a través de la integración de nuevas tecnologías. La plataforma desarrollada en este proyecto, permite dotar de dinamismo y persistencia a la plataforma de juegos, ofreciendo a los usuarios de SONRIE (principalmente fisioterapeutas y rehabilitadores que trabajan en entornos escolares) un sistema de terapia para niños con PCI accesible vía web. En este Proyecto Fin de Grado se describe el conjunto de componentes software desarrollados con el fin de proporcionar un entorno web que escale el sistema SONRIE, convirtiéndolo en un sistema de terapia efectivo, completo y usable. ABSTRACT. The SONRIE system (Sistema de terapia, basadO en KiNect, paRa nIños con parálisis cErebral), performed as a final project by Miss Estefanía Sampedro, was developed in order to allow the rehabilitation process of the facial muscles of children with Cerebral Palsy (CP). SONRIE consists of a gaming platform which aims to achieve a therapeutic improvement in the orofacial musculature on children diagnosed with CP aged between 4 and 12 years. The application scenario of the SONRIE system are the integration schools that have students diagnosed with this disorder. The possibility of rehabilitation of facial muscles through treatments based on the use of telematics systems, together with the use of new technologies (Virtual Reality, Augmented Reality and Serious Games) is a great innovation in the neuro-rehabilitation environment, understood as the therapy process that optimizes the participation of a person in the society, reaching an optimum level of welfare. The work done in this final project aims to scale the SONRIE system, through the analysis, design and development of a framework in charge of facilitating, extending and validating the proper use of the SONRIE system in school environments, through the integration of new technologies. The platform developed in this project, can provide dynamism and persistence to the gaming platform, offering to the SONRIE users (mainly physiotherapists and rehabilitators who work in school settings) a therapy system for children with CP accessible via web. In this final project are described the software components developed in order to provide a web environment that scales the SONRIE system, making it an effective, complete and usable therapy system.

Desenvolvimento de um aplicativo do Kinect para fins de intervenção com pacientes com hanseníase

Os sistemas interativos estão cada vez mais presentes como recursos tecnológicos utilizados pelo homem, sendo que para que a interação ocorra é necessária uma adaptação destes aparatos às reais necessidades do homem. Para garantir a qualidade de interação é preciso focar no princípio da usabilidade do sistema, desenvolvido por Jakob Nielsen, (1994) aprimorando com isso aspectos de acessibilidade, flexibilidade e eficiência no uso, para que o recurso tecnológico torne-se um objeto de modificação nesta relação. Objetivo: desenvolver um painel interativo utilizando a tecnologia Kinect e com isso fornecer informações sobre autocuidado e prevenção de incapacidades da hanseníase para pacientes e profissionais da saúde. Metodologia: Está baseada no modelo consensual que propõe uma solução para o problema de projeto e apresenta-se dividida em quatro fases: (1) projeto informacional; (2) projeto conceitual; (3) projeto preliminar e (4) projeto detalhado. Resultados: foi produzido um protótipo contendo imagens, texto e vídeos com informações sobre a Hanseníase. Este é composto por material coletado nos manuais produzidos pelo Ministério da Saúde para orientação de cuidados na Hanseníase e um vídeo inserido para demonstrar como seria o acesso a este recurso, acessados por meio dos movimentos dos membros superiores no qual a pessoa posiciona-se, em frente ao painel, a uma distância de 80 cm, e seleciona o que deseja ver com uma das mãos, que se torna a \"mão virtual\" movida na tela e seleciona o material instrucional. Os requisitos funcionais e não funcionais foram organizados contendo a caracterização das imagens de forma legível e nítida e opções de textos buscando a compreensão e o acesso da população. Foram desenvolvidos 16 vídeos que ensinam como realizar os exercícios para prevenir incapacidades e possíveis deformidades, estimulando assim o autocuidado. Conclusão: O desenvolvimento de material educacional sobre a Hanseníase que utilize as novas tecnologias é escasso e pouco explorado pelos profissionais da reabilitação na hanseníase. Investir em ações que visem tornar a pessoa mais informada sobre sua doença e segura sobre seu tratamento, pode contribuir para a autonomia em parte dos cuidados e as novas tecnologias podem funcionar como importante aliado neste processo.

Konect: framework de desenvolvimento para aplicações do Microsoft Kinect

O desenvolvimento para a plataforma Microsoft Kinect (ou simplesmente Kinect) vem se intensificando à medida que o hardware apresenta-se constantemente como parte integrante de soluções para problemas importantes nas áreas de Computação Médica, Realidade Virtual ou mesmo seu propósito básico inicial: a indústria de Entretenimento. Com a sua popularização, as ferramentas básicas de desenvolvimento oferecidas pela Microsoft têm apresentado ao público geral complicações que poderiam ser evitadas, como a correta configuração e inicialização dos recursos oferecidos pelo hardware. Assim, este trabalho tem como objetivo desenvolver e avaliar um framework específico para a plataforma Kinect, que auxilie usuários que estão começando a desenvolver aplicações para essa plataforma, apresentando os principais componentes e como eles foram testados e avaliados pelos usuários. Este trabalho também apresenta uma pesquisa realizada com os jogos mais vendidos e melhores avaliados do Kinect, visando extrarir os principais componentes neles presentes para formar a estrutura do framework.

Conception, fabrication et caractérisation d'un biocapteur SPR à base de guides d'ondes photoniques sur substrat de verre

Résumé : Malgré le nombre croissant de capteurs dans les domaines de la chimie et la biologie, il reste encore à étudier en profondeur la complexité des interactions entre les différentes molécules présentes lors d’une détection à l’interface solide-liquide. Dans ce cadre, il est de tout intérêt de croiser différentes méthodes de détection afin d’obtenir des informations complémentaires. Le principal objectif de cette étude est de dimensionner, fabriquer et caractériser un détecteur optique intégré sur verre basé sur la résonance plasmonique de surface, destiné à terme à être combiné avec d’autres techniques de détection, dont un microcalorimètre. La résonance plasmonique de surface est une technique reconnue pour sa sensibilité adaptée à la détection de surface, qui a l’avantage d’être sans marquage et permet de fournir un suivi en temps réel de la cinétique d’une réaction. L’avantage principal de ce capteur est qu’il a été dimensionné pour une large gamme d’indice de réfraction de l’analyte, allant de 1,33 à 1,48. Ces valeurs correspondent à la plupart des entités biologiques associées à leurs couches d’accroche dont les matrices de polymères, présentés dans ce travail. Étant donné que beaucoup d’études biologiques nécessitent la comparaison de la mesure à une référence ou à une autre mesure, le second objectif du projet est d’étudier le potentiel du système SPR intégré sur verre pour la détection multi-analyte. Les trois premiers chapitres se concentrent sur l’objectif principal du projet. Le dimensionnement du dispositif est ainsi présenté, basé sur deux modélisations différentes, associées à plusieurs outils de calcul analytique et numérique. La première modélisation, basée sur l’approximation des interactions faibles, permet d’obtenir la plupart des informations nécessaires au dimensionnement du dispositif. La seconde modélisation, sans approximation, permet de valider le premier modèle approché et de compléter et affiner le dimensionnement. Le procédé de fabrication de la puce optique sur verre est ensuite décrit, ainsi que les instruments et protocoles de caractérisation. Un dispositif est obtenu présentant des sensibilités volumiques entre 1000 nm/RIU et 6000 nm/RIU suivant l’indice de réfraction de l’analyte. L’intégration 3D du guide grâce à son enterrage sélectif dans le verre confère au dispositif une grande compacité, le rendant adapté à la cointégration avec un microcalorimètre en particulier. Le dernier chapitre de la thèse présente l’étude de plusieurs techniques de multiplexage spectral adaptées à un système SPR intégré, exploitant en particulier la technologie sur verre. L’objectif est de fournir au moins deux détections simultanées. Dans ce cadre, plusieurs solutions sont proposées et les dispositifs associés sont dimensionnés, fabriqués et testés.

Interfaz natural para la programación de un robot manipulador a través de un Kinect

Tesis (Ingeniero(a) en Automaziación).--Universidad de La Salle. Facultad de Ingeniería. Programa de Ingeniería en Automatización, 2014

Analyse des signaux radars polarimétriques en bandes C et L pour le suivi de l'humidité du sol de sites forestiers

Résumé : Dans les couverts forestiers, le suivi de l’humidité du sol permet de prévenir plusieurs désastres tels que la paludification, les incendies et les inondations. Comme ce paramètre est très dynamique dans l’espace et dans le temps, son estimation à grande échelle présente un grand défi, d’où le recours à la télédétection radar. Le capteur radar à synthèse d’ouverture (RSO) est couramment utilisé grâce à sa vaste couverture et sa résolution spatiale élevée. Contrairement aux sols nus et aux zones agricoles, le suivi de l’humidité du sol en zone forestière est très peu étudié à cause de la complexité des processus de diffusion dans ce type de milieu. En effet, la forte atténuation de la contribution du sol par la végétation et la forte contribution de volume issue de la végétation réduisent énormément la sensibilité du signal radar à l’humidité du sol. Des études portées sur des couverts forestiers ont montré que le signal radar en bande C provient principalement de la couche supérieure et sature vite avec la densité de la végétation. Cependant, très peu d’études ont exploré le potentiel des paramètres polarimétriques, dérivés d’un capteur polarimétrique comme RADARSAT-2, pour suivre l’humidité du sol sur les couverts forestiers. L’effet du couvert végétal est moins important avec la bande L en raison de son importante profondeur de pénétration qui permet de mieux informer sur l’humidité du sol. L’objectif principal de ce projet est de suivre l’humidité du sol à partir de données radar entièrement polarimétriques en bandes C et L sur des sites forestiers. Les données utilisées sont celles de la campagne terrain Soil Moisture Active Passive Validation EXperiment 2012 (SMAPVEX12) tenue du 6 juin au 17 juillet 2012 au Manitoba (Canada). Quatre sites forestiers de feuillus ont été échantillonnés. L’espèce majoritaire présente est le peuplier faux-tremble. Les données utilisées incluent des mesures de l’humidité du sol, de la rugosité de surface du sol, des caractéristiques des sites forestiers (arbres, sous-bois, litières…) et des données radar entièrement polarimétriques aéroportées et satellitaires acquises respectivement, en bande L (UAVSAR) à 30˚ et 40˚ et en bande C (RADARSAT-2) entre 20˚ et 30˚. Plusieurs paramètres polarimétriques ont été dérivés des données UAVSAR et RADARSAT-2 : les coefficients de corrélation (ρHHVV, φHHVV, etc); la hauteur du socle; l’entropie (H), l’anisotropie (A) et l’angle alpha extraits de la décomposition de Cloude-Pottier; les puissances de diffusion de surface (Ps), de double bond (Pd) extraites de la décomposition de Freeman-Durden, etc. Des relations entre les données radar (coefficients de rétrodiffusion multifréquences et multipolarisations (linéaires et circulaires) et les paramètres polarimétriques) et l’humidité du sol ont été développées et analysées. Les résultats ont montré que 1) En bande L, plusieurs paramètres optimaux permettent le suivi de l’humidité du sol en zone forestière avec un coefficient de corrélation significatif (p-value < 0,05): σ[indice supérieur 0] linéaire et σ[indice supérieur 0] circulaire (le coefficient de corrélation, r, varie entre 0,60 et 0,96), Ps (r entre 0,59 et 0,84), Pd (r entre 0,6 et 0,82), ρHHHV_30˚, ρVVHV_30˚, φHHHV_30˚ and φHHVV_30˚ (r entre 0,56 et 0,81) alors qu’en bande C, ils sont réduits à φHHHV, φVVHV et φHHVV (r est autour de 0,90). 2) En bande L, les paramètres polarimétriques n’ont pas montré de valeur ajoutée par rapport aux signaux conventionnels multipolarisés d’amplitude, pour le suivi de l’humidité du sol sur les sites forestiers. En revanche, en bande C, certains paramètres polarimétriques ont montré de meilleures relations significatives avec l’humidité du sol que les signaux conventionnels multipolarisés d’amplitude.

Entre a corte e a revolução: a atuação de um "negociante" na América sede do Império português

O artigo discute a trajetória de Manuel Luís da Veiga que, como comerciante em Portugal (seu território natal), investiu na instalação de uma fábrica em Pernambuco após a chegada da família real no Rio de Janeiro, tendo em vista as transformações que à época se processavam no Império português. O foco da análise centra-se no campo das sociabilidades políticas, com destaque para a atuação de Veiga na corte carioca e sua produção literária sobre economia política, entendendo-as como duas dimensões indissociáveis de sua prática social. Defende-se aqui que sua trajetória ilumina um mundo em profunda mudança nos seus paradigmas, impossível de ser sintetizado pelo estabelecimento de um padrão preciso de distinção entre o que era antigo e o que era novidade no início dos oitocentos.

Assessment of 3D scanners for modeling Pectus Carinatum corrective bar

Pectus Carinatum (PC) is a chest deformity consisting on the anterior protrusion of the sternum and adjacent costal cartilages. Non-operative corrections, such as the orthotic compression brace, require previous information of the patient chest surface, to improve the overall brace fit. This paper focuses on the validation of the Kinect scanner for the modelling of an orthotic compression brace for the correction of Pectus Carinatum. To this extent, a phantom chest wall surface was acquired using two scanner systems – Kinect and Polhemus FastSCAN – and compared through CT. The results show a RMS error of 3.25mm between the CT data and the surface mesh from the Kinect sensor and 1.5mm from the FastSCAN sensor

Assessment of 3D scanners for modeling pectus carinatum corrective bar

Pectus Carinatum (PC) is a chest deformity consisting on the anterior protrusion of the sternum and adjacent costal cartilages. Non-operative corrections, such as the orthotic compression brace, require previous information of the patient chest surface, to improve the overall brace fit. This paper focuses on the validation of the Kinect scanner for the modelling of an orthotic compression brace for the correction of Pectus Carinatum. To this extent, a phantom chest wall surface was acquired using two scanner systems – Kinect and Polhemus FastSCAN – and compared through CT. The results show a RMS error of 3.25mm between the CT data and the surface mesh from the Kinect sensor and 1.5mm from the FastSCAN sensor.

Drogas, sujeito e proibicionismo: uma discussão sobre os modelos de atenção aos usuários de drogas

Pós-graduação em Psicologia - FCLAS

Notes on the feeding habits of Gaidropsarus guttatus (Collett, 1890) from Faial Island, Azores, NE Atlantic, PT

Copyright © 2014 Société Française d’Ichtyologie.

Exploração da Point Cloud Library aplicada à percepção em sistemas autónomos

A navegação e a interpretação do meio envolvente por veículos autónomos em ambientes não estruturados continua a ser um grande desafio na actualidade. Sebastian Thrun, descreve em [Thr02], que o problema do mapeamento em sistemas robóticos é o da aquisição de um modelo espacial do meio envolvente do robô. Neste contexto, a integração de sistemas sensoriais em plataformas robóticas, que permitam a construção de mapas do mundo que as rodeia é de extrema importância. A informação recolhida desses dados pode ser interpretada, tendo aplicabilidade em tarefas de localização, navegação e manipulação de objectos. Até à bem pouco tempo, a generalidade dos sistemas robóticos que realizavam tarefas de mapeamento ou Simultaneous Localization And Mapping (SLAM), utilizavam dispositivos do tipo laser rangefinders e câmaras stereo. Estes equipamentos, para além de serem dispendiosos, fornecem apenas informação bidimensional, recolhidas através de cortes transversais 2D, no caso dos rangefinders. O paradigma deste tipo de tecnologia mudou consideravelmente, com o lançamento no mercado de câmaras RGB-D, como a desenvolvida pela PrimeSense TM e o subsequente lançamento da Kinect, pela Microsoft R para a Xbox 360 no final de 2010. A qualidade do sensor de profundidade, dada a natureza de baixo custo e a sua capacidade de aquisição de dados em tempo real, é incontornável, fazendo com que o sensor se tornasse instantaneamente popular entre pesquisadores e entusiastas. Este avanço tecnológico deu origem a várias ferramentas de desenvolvimento e interacção humana com este tipo de sensor, como por exemplo a Point Cloud Library [RC11] (PCL). Esta ferramenta tem como objectivo fornecer suporte para todos os blocos de construção comuns que uma aplicação 3D necessita, dando especial ênfase ao processamento de nuvens de pontos de n dimensões adquiridas a partir de câmaras RGB-D, bem como scanners laser, câmaras Time-of-Flight ou câmaras stereo. Neste contexto, é realizada nesta dissertação, a avaliação e comparação de alguns dos módulos e métodos constituintes da biblioteca PCL, para a resolução de problemas inerentes à construção e interpretação de mapas, em ambientes indoor não estruturados, utilizando os dados provenientes da Kinect. A partir desta avaliação, é proposta uma arquitectura de sistema que sistematiza o registo de nuvens de pontos, correspondentes a vistas parciais do mundo, num modelo global consistente. Os resultados da avaliação realizada à biblioteca PCL atestam a sua viabilidade, para a resolução dos problemas propostos. Prova da sua viabilidade, são os resultados práticos obtidos, da implementação da arquitectura de sistema proposta, que apresenta resultados de desempenho interessantes, como também boas perspectivas de integração deste tipo de conceitos e tecnologia em plataformas robóticas desenvolvidas no âmbito de projectos do Laboratório de Sistemas Autónomos (LSA).