Comparação de parâmetros biomecânicos entre sistemas de captura de movimentos: avaliação do Microsoft Kinect

O objetivo do presente trabalho foi avaliar comparativamente parâmetros biomecânicos (tanto antropométricos, quanto cinemáticos) de dados obtidos a partir do console Microsoft Kinect (2010). A avaliação destes parâmetros foi realizada para validar seu uso para obter informações complementares à Análise Ergonomica do Trabalho (AET) e em outras pesquisas, cujos objetivos envolvem o diagnóstico de uso de produtos ou ambientes de trabalho a partir da análises posturais e interações da população que o utiliza. A pesquisa com este console em particular é justificada uma vez que seu lançamento modificou o cenário da biomecânica, já que se trata de um equipamento acessível e portátil. Porém, sua precisão em relação à outros equipamentos ainda está em aberto, sendo inclusive, objeto de estudo de muitas pesquisas em andamento. Os dados obtidos por meio de sistemas de captura de movimentos tridimensionais permitem a avaliação de produtos, atividades e análises de interações homem-objeto. No campo do Design, é uma importante realização, uma vez que permite que profissionais tenham acesso à ferramenta que, anteriormente, era limitada à nichos especializados. O console foi comparado com o sistema de captura de movimentos inercial MVN Biomech (XSENS TECHNOLOGIES) e com o tradicional registro por meio de vídeo. Para obter dados do console Kinect, um software disponível no mercado foi selecionado a partir de critérios predefinidos para obter dados cinemáticos do console. Dois experimentos laboratoriais foram realizados: o primeiro, teve como objetivo obter dados operacionais dos equipamentos e suas limitações de uso; e o segundo foi realizado de forma a obter dados biomecânicos e compará-los a partir de três parâmetros estáticos e um dinâmico. Os parâmetros estáticos envolveram ângulos articulares e segmentares em posturas selecionadas e dimensões segmentares, onde a proposta foi avaliar dados antropométricos e as características do modelo biomecânico referente à manter os corpos rígidos durante a movimentação. O parâmetro dinâmico foi realizado de forma a obter dados de deslocamento global das articulações em movimentações selecionadas. Para possibilitar esta análise, uma plataforma digital foi desenvolvida, constituindo um campo neutro para o tratamento dos dados. A plataforma mantém os dados originais dos sistemas, permitindo a distinção entre os modelos biomecânicos e a retirada de dados que possam ser comparados. Os experimentos realizados permitiram avaliar a usabilidade do console, fornecendo diretrizes para seu uso. Para avaliar a utilização do console em ambientes reais de trabalho, foram realizados registros preliminares em laboratórios químicos, os quais se mostraram viáveis se as limitações, semelhantes às de sistemas baseados em tecnologia ótica, sejam consideradas. Futuras análises devem ser conduzidas para validar estatisticamente os resultados obtidos. Porém, considerando o objetivo do trabalho, pode-se concluir que o sistema avaliado é uma alternativa confiável no contexto proposto.

Prescription software for recovery and rehabilitation using Microsoft Kinect

Brain injuries, including stroke, can be debilitating incidents with potential for severe long term effects; many people stop making significant progress once leaving in-patient medical care and are unable to fully restore their quality of life when returning home. The aim of this collaborative project, between the Royal Berkshire NHS Foundation Trust and the University of Reading, is to provide a low cost portable system that supports a patient's condition and their recovery in hospital or at home. This is done by providing engaging applications with targeted gameplay that is individually tailored to the rehabilitation of the patient's symptoms. The applications are capable of real-time data capture and analysis in order to provide information to therapists on patient progress and to further improve the personalized care that an individual can receive.

Avaliação de desenpenho do método 3DLBP utilizando mapas de profundidade gerados pelo Microsoft Kinect

Problemas com pose e iluminação são desafios complexos para o reconhecimento de faces 2D. Devido a estes problemas vários métodos para reconhecimento de faces 3D têm sido propostos, principalmente pelo fato que os dados em 3D são mais resistentes a iluminação e são úteis para correção de pose. O maior problema com a utilização de métodos 3D é o custo elevado dos scanners 3D tradicionais. Uma alternativa é a utilização do Microsoft Kinect que, além de ser consideravelmente mais barato, é capaz de capturar os dados de profundidade com precisão necessária para discriminar sujeitos. O principal objetivo do presente trabalho é avaliar a performance do método 3DLBP para o reconhecimento de faces quando utilizando os mapas de profundidade gerados pelo Kinect. Outro objetivo é investigar quais regiões da face que desempenham melhor no reconhecimento de face.

Analisi sperimentale sull'utilizzo del Microsoft Kinect One come sistema di Body Tracking per la realta virtuale in riabilitazione

In questo progetto di tesi sarà innanzitutto presentato il Kinect One e sarà fatta una panoramica sull’uso della realtà virtuale in ambito riabilitativo. In seguito sarà analizzato l’algoritmo di Body tracking, valutandone il comportamento in diverse situazioni pratiche e poi stimandone la precisione in statica. Sarà presentato un filtraggio per limitare il rumore in tempo reale e valutarne i pro ed i contro in funzione delle caratteristiche impostabili. Saranno presentate inoltre le metodologie con cui gli algoritmi integrati del Kinect permettono di ricavare una stima dell’orientamento delle parti anatomiche nello spazio ed alcune considerazioni circa le implicazioni pratiche di tali metodologie, anche in base alle osservazioni sul campo ottenute durante i mesi di realizzazione di questo progetto. Lo scopo è determinare se e come sia possibile utilizzare il Microsoft Kinect One come unico sistema di motion tracking del paziente in applicazioni cliniche di riabilitazione, quali limiti ci sono nel suo utilizzo e quali categorie di scenari e prove potrebbe supportare.

Konect: framework de desenvolvimento para aplicações do Microsoft Kinect

O desenvolvimento para a plataforma Microsoft Kinect (ou simplesmente Kinect) vem se intensificando à medida que o hardware apresenta-se constantemente como parte integrante de soluções para problemas importantes nas áreas de Computação Médica, Realidade Virtual ou mesmo seu propósito básico inicial: a indústria de Entretenimento. Com a sua popularização, as ferramentas básicas de desenvolvimento oferecidas pela Microsoft têm apresentado ao público geral complicações que poderiam ser evitadas, como a correta configuração e inicialização dos recursos oferecidos pelo hardware. Assim, este trabalho tem como objetivo desenvolver e avaliar um framework específico para a plataforma Kinect, que auxilie usuários que estão começando a desenvolver aplicações para essa plataforma, apresentando os principais componentes e como eles foram testados e avaliados pelos usuários. Este trabalho também apresenta uma pesquisa realizada com os jogos mais vendidos e melhores avaliados do Kinect, visando extrarir os principais componentes neles presentes para formar a estrutura do framework.

Diseño e implementación de un controlador de ratón gestual para Microsoft Windows con Kinect - Touchless Gesture User Interface

El dispositivo Microsoft Kinect for Windows y similares, han introducido en el mundo del PC una nueva forma de interacción denominada “Touchless Gesture User Interface” o TGUI (Interfaz de Usuario por Gestos sin Contacto) [Gentile et al. 2011]. Se trata de una tecnología novedosa en proceso de evolución. La tecnología de Kinect detecta la presencia de un usuario y monitoriza la posición en el espacio de sus articulaciones principales. Esta información permite desarrollar aplicaciones que posibiliten interactuar al usuario con una computadora mediante gestos y sin la necesidad de estar en contacto con periférico alguno. Desde la invención del periférico ratón en los años 60, resulta curioso que con la frenética evolución que ha experimentado el mundo de la informática en todos estos años, este dispositivo no haya sufrido cambios significativos o no haya sido incluso sustituido por otro periférico. En este proyecto se ha abordado el reto de desarrollar un controlador de ratón gestual para Windows utilizando Microsoft Kinect, de tal forma que se sustituya el uso del típico ratón y sea el propio usuario el que actúe como controlador mediante gestos y movimientos de sus manos. El resultado es llamativo y aporta numerosas mejoras y novedades frente a aplicaciones similares, aunque deja en evidencia algunas de las limitaciones de la tecnología implementada por Kinect a día de hoy. Es de esperar que cuando evolucione su tecnología, su uso se convierta en cotidiano.

A Kinect Based Indoor Navigation System for the Blind

Team NAVIGATE aims to create a robust, portable navigational aid for the blind. Our prototype uses depth data from the Microsoft Kinect to perform realtime obstacle avoidance in unfamiliar indoor environments. The device augments the white cane by performing two signi cant functions: detecting overhanging objects and identifying stairs. Based on interviews with blind individuals, we found a combined audio and haptic feedback system best for communicating environmental information. Our prototype uses vibration motors to indicate the presence of an obstacle and an auditory command to alert the user to stairs ahead. Through multiple trials with sighted and blind participants, the device was successful in detecting overhanging objects and approaching stairs. The device increased user competency and adaptability across all trials.

Un ambiente integrato basato sul calcolo degli eventi per il riconoscimento di pose mediante kinect

In questo lavoro di tesi si è sviluppato un sistema di supporto al fisioterapista per la definizione degli esercizi da far eseguire al paziente che consenta di automatizzare il controllo della corretta esecuzione degli esercizi stessi da parte del paziente. Si è realizzato un linguaggio per codificare gli esercizi ed un editor per poterli esprimere, attraverso il linguaggio, da parte dello specialista. E' stato realizzato un motore che riesca a valutare in modo automatico se il paziente sta eseguendo correttamente gli esercizi proposti, confrontando le pose riconosciute utilizzando il sensore Microsoft Kinect con le pose degli esercizi definiti attraverso l'editor. Il filo conduttore per la realizzazione del linguaggio e del motore è stata la teoria del Calcolo degli Eventi, estesa con il concetto di aspettativa.

Efficient spatio-temporal hole filling strategy for Kinect depth maps

In this paper we present an efficient hole filling strategy that improves the quality of the depth maps obtained with the Microsoft Kinect device. The proposed approach is based on a joint-bilateral filtering framework that includes spatial and temporal information. The missing depth values are obtained applying iteratively a joint-bilateral filter to their neighbor pixels. The filter weights are selected considering three different factors: visual data, depth information and a temporal-consistency map. Video and depth data are combined to improve depth map quality in presence of edges and homogeneous regions. Finally, the temporal-consistency map is generated in order to track the reliability of the depth measurements near the hole regions. The obtained depth values are included iteratively in the filtering process of the successive frames and the accuracy of the hole regions depth values increases while new samples are acquired and filtered

Gait energy volumes and frontal gait recognition using depth images

Gait energy images (GEIs) and its variants form the basis of many recent appearance-based gait recognition systems. The GEI combines good recognition performance with a simple implementation, though it suffers problems inherent to appearance-based approaches, such as being highly view dependent. In this paper, we extend the concept of the GEI to 3D, to create what we call the gait energy volume, or GEV. A basic GEV implementation is tested on the CMU MoBo database, showing improvements over both the GEI baseline and a fused multi-view GEI approach. We also demonstrate the efficacy of this approach on partial volume reconstructions created from frontal depth images, which can be more practically acquired, for example, in biometric portals implemented with stereo cameras, or other depth acquisition systems. Experiments on frontal depth images are evaluated on an in-house developed database captured using the Microsoft Kinect, and demonstrate the validity of the proposed approach.

Three dimensional digitisation of plant leaves

Realistic plant models are important for leaf area and plant volume estimation, reconstruction of growth canopies, structure generation of the plant, reconstruction of leaf surfaces and agrichemical spray droplet modelling. This article investigates several different scanning devices for obtaining a three dimensional digitisation of plant leaves with a point cloud resolution of 200-500μm. The devices tested were a Roland mdx-20, Microsoft Kinect, Roland lpx-250, Picoscan and Artec S. The applicability of each of these devices for scanning plant leaves is discussed. The most suitable tested digitisation device for scanning plant leaves is the Artec S scanner.

Human identification from video using advanced gait recognition techniques

The solutions proposed in this thesis contribute to improve gait recognition performance in practical scenarios that further enable the adoption of gait recognition into real world security and forensic applications that require identifying humans at a distance. Pioneering work has been conducted on frontal gait recognition using depth images to allow gait to be integrated with biometric walkthrough portals. The effects of gait challenging conditions including clothing, carrying goods, and viewpoint have been explored. Enhanced approaches are proposed on segmentation, feature extraction, feature optimisation and classification elements, and state-of-the-art recognition performance has been achieved. A frontal depth gait database has been developed and made available to the research community for further investigation. Solutions are explored in 2D and 3D domains using multiple images sources, and both domain-specific and independent modality gait features are proposed.

Effect of position on precision within the recording field of a markerless motion capture system

Introduction Markerless motion capture systems are relatively new devices that can significantly speed up capturing full body motion. A precision of the assessment of the finger’s position with this type of equipment was evaluated at 17.30 ± 9.56 mm when compare to an active marker system [1]. The Microsoft Kinect was proposed to standardized and enhanced clinical evaluation of patients with hemiplegic cerebral palsy [2]. Markerless motion capture systems have the potential to be used in a clinical setting for movement analysis, as well as for large cohort research. However, the precision of such system needs to be characterized. Global objectives • To assess the precision within the recording field of the markerless motion capture system Openstage 2 (Organic Motion, NY). • To compare the markerless motion capture system with an optoelectric motion capture system with active markers. Specific objectives • To assess the noise of a static body at 13 different location within the recording field of the markerless motion capture system. • To assess the smallest oscillation detected by the markerless motion capture system. • To assess the difference between both systems regarding the body joint angle measurement. Methods Equipment • OpenStage® 2 (Organic Motion, NY) o Markerless motion capture system o 16 video cameras (acquisition rate : 60Hz) o Recording zone : 4m * 5m * 2.4m (depth * width * height) o Provide position and angle of 23 different body segments • VisualeyezTM VZ4000 (PhoeniX Technologies Incorporated, BC) o Optoelectric motion capture system with active markers o 4 trackers system (total of 12 cameras) o Accuracy : 0.5~0.7mm Protocol & Analysis • Static noise: o Motion recording of an humanoid mannequin was done in 13 different locations o RMSE was calculated for each segment in each location • Smallest oscillation detected: o Small oscillations were induced to the humanoid mannequin and motion was recorded until it stopped. o Correlation between the displacement of the head recorded by both systems was measured. A corresponding magnitude was also measured. • Body joints angle: o Body motion was recorded simultaneously with both systems (left side only). o 6 participants (3 females; 32.7 ± 9.4 years old) • Tasks: Walk, Squat, Shoulder flexion & abduction, Elbow flexion, Wrist extension, Pronation / supination (not in results), Head flexion & rotation (not in results), Leg rotation (not in results), Trunk rotation (not in results) o Several body joint angles were measured with both systems. o RMSE was calculated between signals of both systems. Results Conclusion Results show that the Organic Motion markerless system has the potential to be used for assessment of clinical motor symptoms or motor performances However, the following points should be considered: • Precision of the Openstage system varied within the recording field. • Precision is not constant between limb segments. • The error seems to be higher close to the range of motion extremities.

Interacción corporal con el ordenador para niños con restricciones motoras

Para los niños el juego es la manera más natural de aprender. Mediante el juego los niños interactúan con su entorno. Cuando se trata de niños con graves restricciones motoras esta interacción se ve limitada. Es por esta razón por la que intentamos poner los medios existentes a su disposición. Este proyecto muestra una interfaz persona-computador para manejar un robot Lego Mindstorm RCX en un entorno virtual proyectado sobre una superficie. En todo momento el sistema es capaz de determinar la posición del robot mediante un sensor Microsoft Kinect. Pretende ser el primer paso en la creación de una interfaz persona-computador para niños con restricciones motoras que ayude en su rehabilitación.

Kernelized structural classification for 3D dogs body parts detection

Despite pattern recognition methods for human behavioral analysis has flourished in the last decade, animal behavioral analysis has been almost neglected. Those few approaches are mostly focused on preserving livestock economic value while attention on the welfare of companion animals, like dogs, is now emerging as a social need. In this work, following the analogy with human behavior recognition, we propose a system for recognizing body parts of dogs kept in pens. We decide to adopt both 2D and 3D features in order to obtain a rich description of the dog model. Images are acquired using the Microsoft Kinect to capture the depth map images of the dog. Upon depth maps a Structural Support Vector Machine (SSVM) is employed to identify the body parts using both 3D features and 2D images. The proposal relies on a kernelized discriminative structural classificator specifically tailored for dogs independently from the size and breed. The classification is performed in an online fashion using the LaRank optimization technique to obtaining real time performances. Promising results have emerged during the experimental evaluation carried out at a dog shelter, managed by IZSAM, in Teramo, Italy.