Estimation de cartes d'énergie de hautes fréquences ou d'irrégularité de périodicité de la marche humaine par caméra de profondeur pour la détection de pathologies

Ce travail présente deux nouveaux systèmes simples d'analyse de la marche humaine grâce à une caméra de profondeur (Microsoft Kinect) placée devant un sujet marchant sur un tapis roulant conventionnel, capables de détecter une marche saine et celle déficiente. Le premier système repose sur le fait qu'une marche normale présente typiquement un signal de profondeur lisse au niveau de chaque pixel avec moins de hautes fréquences, ce qui permet d'estimer une carte indiquant l'emplacement et l'amplitude de l'énergie de haute fréquence (HFSE). Le second système analyse les parties du corps qui ont un motif de mouvement irrégulier, en termes de périodicité, lors de la marche. Nous supposons que la marche d'un sujet sain présente partout dans le corps, pendant les cycles de marche, un signal de profondeur avec un motif périodique sans bruit. Nous estimons, à partir de la séquence vidéo de chaque sujet, une carte montrant les zones d'irrégularités de la marche (également appelées énergie de bruit apériodique). La carte avec HFSE ou celle visualisant l'énergie de bruit apériodique peut être utilisée comme un bon indicateur d'une éventuelle pathologie, dans un outil de diagnostic précoce, rapide et fiable, ou permettre de fournir des informations sur la présence et l'étendue de la maladie ou des problèmes (orthopédiques, musculaires ou neurologiques) du patient. Même si les cartes obtenues sont informatives et très discriminantes pour une classification visuelle directe, même pour un non-spécialiste, les systèmes proposés permettent de détecter automatiquement les individus en bonne santé et ceux avec des problèmes locomoteurs.

Estimation de cartes d'énergie de hautes fréquences ou d'irrégularité de périodicité de la marche humaine par caméra de profondeur pour la détection de pathologies

Ce travail présente deux nouveaux systèmes simples d'analyse de la marche humaine grâce à une caméra de profondeur (Microsoft Kinect) placée devant un sujet marchant sur un tapis roulant conventionnel, capables de détecter une marche saine et celle déficiente. Le premier système repose sur le fait qu'une marche normale présente typiquement un signal de profondeur lisse au niveau de chaque pixel avec moins de hautes fréquences, ce qui permet d'estimer une carte indiquant l'emplacement et l'amplitude de l'énergie de haute fréquence (HFSE). Le second système analyse les parties du corps qui ont un motif de mouvement irrégulier, en termes de périodicité, lors de la marche. Nous supposons que la marche d'un sujet sain présente partout dans le corps, pendant les cycles de marche, un signal de profondeur avec un motif périodique sans bruit. Nous estimons, à partir de la séquence vidéo de chaque sujet, une carte montrant les zones d'irrégularités de la marche (également appelées énergie de bruit apériodique). La carte avec HFSE ou celle visualisant l'énergie de bruit apériodique peut être utilisée comme un bon indicateur d'une éventuelle pathologie, dans un outil de diagnostic précoce, rapide et fiable, ou permettre de fournir des informations sur la présence et l'étendue de la maladie ou des problèmes (orthopédiques, musculaires ou neurologiques) du patient. Même si les cartes obtenues sont informatives et très discriminantes pour une classification visuelle directe, même pour un non-spécialiste, les systèmes proposés permettent de détecter automatiquement les individus en bonne santé et ceux avec des problèmes locomoteurs.

Détection de chute à l'aide d'une caméra de profondeur

Les chutes chez les personnes âgées représentent un problème important de santé publique. Des études montrent qu’environ 30 % des personnes âgées de 65 ans et plus chutent chaque année au Canada, entraînant des conséquences néfastes sur les plans individuel, familiale et sociale. Face à une telle situation la vidéosurveillance est une solution efficace assurant la sécurité de ces personnes. À ce jour de nombreux systèmes d’assistance de services à la personne existent. Ces dispositifs permettent à la personne âgée de vivre chez elle tout en assurant sa sécurité par le port d'un capteur. Cependant le port du capteur en permanence par le sujet est peu confortable et contraignant. C'est pourquoi la recherche s’est récemment intéressée à l’utilisation de caméras au lieu de capteurs portables. Le but de ce projet est de démontrer que l'utilisation d'un dispositif de vidéosurveillance peut contribuer à la réduction de ce fléau. Dans ce document nous présentons une approche de détection automatique de chute, basée sur une méthode de suivi 3D du sujet en utilisant une caméra de profondeur (Kinect de Microsoft) positionnée à la verticale du sol. Ce suivi est réalisé en utilisant la silhouette extraite en temps réel avec une approche robuste d’extraction de fond 3D basée sur la variation de profondeur des pixels dans la scène. Cette méthode se fondera sur une initialisation par une capture de la scène sans aucun sujet. Une fois la silhouette extraite, les 10% de la silhouette correspondant à la zone la plus haute de la silhouette (la plus proche de l'objectif de la Kinect) sera analysée en temps réel selon la vitesse et la position de son centre de gravité. Ces critères permettront donc après analyse de détecter la chute, puis d'émettre un signal (courrier ou texto) vers l'individu ou à l’autorité en charge de la personne âgée. Cette méthode a été validée à l’aide de plusieurs vidéos de chutes simulées par un cascadeur. La position de la caméra et son information de profondeur réduisent de façon considérable les risques de fausses alarmes de chute. Positionnée verticalement au sol, la caméra permet donc d'analyser la scène et surtout de procéder au suivi de la silhouette sans occultation majeure, qui conduisent dans certains cas à des fausses alertes. En outre les différents critères de détection de chute, sont des caractéristiques fiables pour différencier la chute d'une personne, d'un accroupissement ou d'une position assise. Néanmoins l'angle de vue de la caméra demeure un problème car il n'est pas assez grand pour couvrir une surface conséquente. Une solution à ce dilemme serait de fixer une lentille sur l'objectif de la Kinect permettant l’élargissement de la zone surveillée.

Evaluating perceptual maps of asymmetries for gait symmetry quantification and pathology detection

Le mouvement de la marche est un processus essentiel de l'activité humaine et aussi le résultat de nombreuses interactions collaboratives entre les systèmes neurologiques, articulaires et musculo-squelettiques fonctionnant ensemble efficacement. Ceci explique pourquoi une analyse de la marche est aujourd'hui de plus en plus utilisée pour le diagnostic (et aussi la prévention) de différents types de maladies (neurologiques, musculaires, orthopédique, etc.). Ce rapport présente une nouvelle méthode pour visualiser rapidement les différentes parties du corps humain liées à une possible asymétrie (temporellement invariante par translation) existant dans la démarche d'un patient pour une possible utilisation clinique quotidienne. L'objectif est de fournir une méthode à la fois facile et peu dispendieuse permettant la mesure et l'affichage visuel, d'une manière intuitive et perceptive, des différentes parties asymétriques d'une démarche. La méthode proposée repose sur l'utilisation d'un capteur de profondeur peu dispendieux (la Kinect) qui est très bien adaptée pour un diagnostique rapide effectué dans de petites salles médicales car ce capteur est d'une part facile à installer et ne nécessitant aucun marqueur. L'algorithme que nous allons présenter est basé sur le fait que la marche saine possède des propriétés de symétrie (relativement à une invariance temporelle) dans le plan coronal.

Reciprocal habituation : a study of older people and the Kinect

We explore relationships between habits and technology interaction by reporting on older people's experience of the Kinect for Xbox. We contribute to theoretical and empirical understandings of habits in the use of technology to inform understanding of the habitual qualities of our interactions with computing technologies, particularly systems exploiting natural user interfaces. We situate ideas of habit in relation to user experience and usefulness in interaction design, and draw on critical approaches to the concept of habit from cultural theory to understand the embedded, embodied, and situated contexts in our interactions with technologies. We argue that understanding technology habits as a process of reciprocal habituation in which people and technologies adapt to each other over time through design, adoption, and appropriation offers opportunities for research on user experience and interaction design within human-computer interaction, especially as newer gestural and motion control interfaces promise to reshape the ways in which we interact with computers.

Modeling kinect sensor noise for improved 3D reconstruction and tracking

We contribute an empirically derived noise model for the Kinect sensor. We systematically measure both lateral and axial noise distributions, as a function of both distance and angle of the Kinect to an observed surface. The derived noise model can be used to filter Kinect depth maps for a variety of applications. Our second contribution applies our derived noise model to the KinectFusion system to extend filtering, volumetric fusion, and pose estimation within the pipeline. Qualitative results show our method allows reconstruction of finer details and the ability to reconstruct smaller objects and thinner surfaces. Quantitative results also show our method improves pose estimation accuracy. © 2012 IEEE.

Sistema de comercio electrónico para el sector textil: generar maniquíes 3D a partir de imágenes del sensor Kinect

Este proyecto consiste en analizar la viabilidad técnica un sistema de información para mejorar el comercio electrónico de compra –venta de ropa. El nuevo sistema de comercio electrónico ayudará al usuario a escoger el tamaño de la prenda con más precisión. El sistema consiste en calcular las medidas esenciales del cuerpo del cliente utilizando el dispositivo Kinect. Posteriormente, estas medidas se introducen en el programa Makehuman que genera un maniquí en 3D. Con la idea de que en el futuro se puede utilizar el maniquí para probar virtualmente prendas de vestir, se ha ideado un método, utilizando el programa Blender, que genera ropa en 3D con fotografías de prendas. Se generan dos ejemplos (pantalón y camiseta) para ilustrarlo.

Control computerizado mediante Kinect

[ES]En el presente trabajo se tratará de exponer el método de trabajo, el desarrollo y los posibles usos de este dispositivo como un método de control en un marco de uso industrial orientado a la economía

Reconocimiento de posturas mediante Kinect en ROS

Proyecto de Fin de Grado, especialidad en Computación. Se ha desarrollado un software en ROS para detectar posturas y movimientos de personas. Para ello, se utiliza la información del esqueleto proporcionada por el sensor Kinect y la biblioteca OpenNI. Se ha realizado un enfoque basado en técnicas de aprendizaje supervisado para generar modelos que clasifiquen posturas estáticas. En el caso de los movimientos, el enfoque se ha basado en clustering. Estos modelos, una vez generados, se incluyen como parte del software, que reacciona ante las posturas y gestos que realice un usuario.

Kires: a data-centric telerehabilitation system based on kinect

185 p.

Comparação de parâmetros biomecânicos entre sistemas de captura de movimentos: avaliação do Microsoft Kinect

O objetivo do presente trabalho foi avaliar comparativamente parâmetros biomecânicos (tanto antropométricos, quanto cinemáticos) de dados obtidos a partir do console Microsoft Kinect (2010). A avaliação destes parâmetros foi realizada para validar seu uso para obter informações complementares à Análise Ergonomica do Trabalho (AET) e em outras pesquisas, cujos objetivos envolvem o diagnóstico de uso de produtos ou ambientes de trabalho a partir da análises posturais e interações da população que o utiliza. A pesquisa com este console em particular é justificada uma vez que seu lançamento modificou o cenário da biomecânica, já que se trata de um equipamento acessível e portátil. Porém, sua precisão em relação à outros equipamentos ainda está em aberto, sendo inclusive, objeto de estudo de muitas pesquisas em andamento. Os dados obtidos por meio de sistemas de captura de movimentos tridimensionais permitem a avaliação de produtos, atividades e análises de interações homem-objeto. No campo do Design, é uma importante realização, uma vez que permite que profissionais tenham acesso à ferramenta que, anteriormente, era limitada à nichos especializados. O console foi comparado com o sistema de captura de movimentos inercial MVN Biomech (XSENS TECHNOLOGIES) e com o tradicional registro por meio de vídeo. Para obter dados do console Kinect, um software disponível no mercado foi selecionado a partir de critérios predefinidos para obter dados cinemáticos do console. Dois experimentos laboratoriais foram realizados: o primeiro, teve como objetivo obter dados operacionais dos equipamentos e suas limitações de uso; e o segundo foi realizado de forma a obter dados biomecânicos e compará-los a partir de três parâmetros estáticos e um dinâmico. Os parâmetros estáticos envolveram ângulos articulares e segmentares em posturas selecionadas e dimensões segmentares, onde a proposta foi avaliar dados antropométricos e as características do modelo biomecânico referente à manter os corpos rígidos durante a movimentação. O parâmetro dinâmico foi realizado de forma a obter dados de deslocamento global das articulações em movimentações selecionadas. Para possibilitar esta análise, uma plataforma digital foi desenvolvida, constituindo um campo neutro para o tratamento dos dados. A plataforma mantém os dados originais dos sistemas, permitindo a distinção entre os modelos biomecânicos e a retirada de dados que possam ser comparados. Os experimentos realizados permitiram avaliar a usabilidade do console, fornecendo diretrizes para seu uso. Para avaliar a utilização do console em ambientes reais de trabalho, foram realizados registros preliminares em laboratórios químicos, os quais se mostraram viáveis se as limitações, semelhantes às de sistemas baseados em tecnologia ótica, sejam consideradas. Futuras análises devem ser conduzidas para validar estatisticamente os resultados obtidos. Porém, considerando o objetivo do trabalho, pode-se concluir que o sistema avaliado é uma alternativa confiável no contexto proposto.

Single camera pose estimation using Bayesian filtering and Kinect motion priors

Traditional approaches to upper body pose estimation using monocular vision rely on complex body models and a large variety of geometric constraints. We argue that this is not ideal and somewhat inelegant as it results in large processing burdens, and instead attempt to incorporate these constraints through priors obtained directly from training data. A prior distribution covering the probability of a human pose occurring is used to incorporate likely human poses. This distribution is obtained offline, by fitting a Gaussian mixture model to a large dataset of recorded human body poses, tracked using a Kinect sensor. We combine this prior information with a random walk transition model to obtain an upper body model, suitable for use within a recursive Bayesian filtering framework. Our model can be viewed as a mixture of discrete Ornstein-Uhlenbeck processes, in that states behave as random walks, but drift towards a set of typically observed poses. This model is combined with measurements of the human head and hand positions, using recursive Bayesian estimation to incorporate temporal information. Measurements are obtained using face detection and a simple skin colour hand detector, trained using the detected face. The suggested model is designed with analytical tractability in mind and we show that the pose tracking can be Rao-Blackwellised using the mixture Kalman filter, allowing for computational efficiency while still incorporating bio-mechanical properties of the upper body. In addition, the use of the proposed upper body model allows reliable three-dimensional pose estimates to be obtained indirectly for a number of joints that are often difficult to detect using traditional object recognition strategies. Comparisons with Kinect sensor results and the state of the art in 2D pose estimation highlight the efficacy of the proposed approach.

A Kinect Based Indoor Navigation System for the Blind

Team NAVIGATE aims to create a robust, portable navigational aid for the blind. Our prototype uses depth data from the Microsoft Kinect to perform realtime obstacle avoidance in unfamiliar indoor environments. The device augments the white cane by performing two signi cant functions: detecting overhanging objects and identifying stairs. Based on interviews with blind individuals, we found a combined audio and haptic feedback system best for communicating environmental information. Our prototype uses vibration motors to indicate the presence of an obstacle and an auditory command to alert the user to stairs ahead. Through multiple trials with sighted and blind participants, the device was successful in detecting overhanging objects and approaching stairs. The device increased user competency and adaptability across all trials.

Kinect and Episodic Reasoning for Human Action Recognition

This paper presents a method for rational behaviour recognition that combines vision-based pose estimation with knowledge modeling and reasoning. The proposed method consists of two stages. First, RGB-D images are used in the estimation of the body postures. Then, estimated actions are evaluated to verify that they make sense. This method requires rational behaviour to be exhibited. To comply with this requirement, this work proposes a rational RGB-D dataset with two types of sequences, some for training and some for testing. Preliminary results show the addition of knowledge modeling and reasoning leads to a significant increase of recognition accuracy when compared to a system based only on computer vision.