Reciprocal habituation : a study of older people and the Kinect

We explore relationships between habits and technology interaction by reporting on older people's experience of the Kinect for Xbox. We contribute to theoretical and empirical understandings of habits in the use of technology to inform understanding of the habitual qualities of our interactions with computing technologies, particularly systems exploiting natural user interfaces. We situate ideas of habit in relation to user experience and usefulness in interaction design, and draw on critical approaches to the concept of habit from cultural theory to understand the embedded, embodied, and situated contexts in our interactions with technologies. We argue that understanding technology habits as a process of reciprocal habituation in which people and technologies adapt to each other over time through design, adoption, and appropriation offers opportunities for research on user experience and interaction design within human-computer interaction, especially as newer gestural and motion control interfaces promise to reshape the ways in which we interact with computers.

Modeling kinect sensor noise for improved 3D reconstruction and tracking

We contribute an empirically derived noise model for the Kinect sensor. We systematically measure both lateral and axial noise distributions, as a function of both distance and angle of the Kinect to an observed surface. The derived noise model can be used to filter Kinect depth maps for a variety of applications. Our second contribution applies our derived noise model to the KinectFusion system to extend filtering, volumetric fusion, and pose estimation within the pipeline. Qualitative results show our method allows reconstruction of finer details and the ability to reconstruct smaller objects and thinner surfaces. Quantitative results also show our method improves pose estimation accuracy. © 2012 IEEE.

Sistema de comercio electrónico para el sector textil: generar maniquíes 3D a partir de imágenes del sensor Kinect

Este proyecto consiste en analizar la viabilidad técnica un sistema de información para mejorar el comercio electrónico de compra –venta de ropa. El nuevo sistema de comercio electrónico ayudará al usuario a escoger el tamaño de la prenda con más precisión. El sistema consiste en calcular las medidas esenciales del cuerpo del cliente utilizando el dispositivo Kinect. Posteriormente, estas medidas se introducen en el programa Makehuman que genera un maniquí en 3D. Con la idea de que en el futuro se puede utilizar el maniquí para probar virtualmente prendas de vestir, se ha ideado un método, utilizando el programa Blender, que genera ropa en 3D con fotografías de prendas. Se generan dos ejemplos (pantalón y camiseta) para ilustrarlo.

Control computerizado mediante Kinect

[ES]En el presente trabajo se tratará de exponer el método de trabajo, el desarrollo y los posibles usos de este dispositivo como un método de control en un marco de uso industrial orientado a la economía

Reconocimiento de posturas mediante Kinect en ROS

Proyecto de Fin de Grado, especialidad en Computación. Se ha desarrollado un software en ROS para detectar posturas y movimientos de personas. Para ello, se utiliza la información del esqueleto proporcionada por el sensor Kinect y la biblioteca OpenNI. Se ha realizado un enfoque basado en técnicas de aprendizaje supervisado para generar modelos que clasifiquen posturas estáticas. En el caso de los movimientos, el enfoque se ha basado en clustering. Estos modelos, una vez generados, se incluyen como parte del software, que reacciona ante las posturas y gestos que realice un usuario.

Kires: a data-centric telerehabilitation system based on kinect

185 p.

Comparação de parâmetros biomecânicos entre sistemas de captura de movimentos: avaliação do Microsoft Kinect

O objetivo do presente trabalho foi avaliar comparativamente parâmetros biomecânicos (tanto antropométricos, quanto cinemáticos) de dados obtidos a partir do console Microsoft Kinect (2010). A avaliação destes parâmetros foi realizada para validar seu uso para obter informações complementares à Análise Ergonomica do Trabalho (AET) e em outras pesquisas, cujos objetivos envolvem o diagnóstico de uso de produtos ou ambientes de trabalho a partir da análises posturais e interações da população que o utiliza. A pesquisa com este console em particular é justificada uma vez que seu lançamento modificou o cenário da biomecânica, já que se trata de um equipamento acessível e portátil. Porém, sua precisão em relação à outros equipamentos ainda está em aberto, sendo inclusive, objeto de estudo de muitas pesquisas em andamento. Os dados obtidos por meio de sistemas de captura de movimentos tridimensionais permitem a avaliação de produtos, atividades e análises de interações homem-objeto. No campo do Design, é uma importante realização, uma vez que permite que profissionais tenham acesso à ferramenta que, anteriormente, era limitada à nichos especializados. O console foi comparado com o sistema de captura de movimentos inercial MVN Biomech (XSENS TECHNOLOGIES) e com o tradicional registro por meio de vídeo. Para obter dados do console Kinect, um software disponível no mercado foi selecionado a partir de critérios predefinidos para obter dados cinemáticos do console. Dois experimentos laboratoriais foram realizados: o primeiro, teve como objetivo obter dados operacionais dos equipamentos e suas limitações de uso; e o segundo foi realizado de forma a obter dados biomecânicos e compará-los a partir de três parâmetros estáticos e um dinâmico. Os parâmetros estáticos envolveram ângulos articulares e segmentares em posturas selecionadas e dimensões segmentares, onde a proposta foi avaliar dados antropométricos e as características do modelo biomecânico referente à manter os corpos rígidos durante a movimentação. O parâmetro dinâmico foi realizado de forma a obter dados de deslocamento global das articulações em movimentações selecionadas. Para possibilitar esta análise, uma plataforma digital foi desenvolvida, constituindo um campo neutro para o tratamento dos dados. A plataforma mantém os dados originais dos sistemas, permitindo a distinção entre os modelos biomecânicos e a retirada de dados que possam ser comparados. Os experimentos realizados permitiram avaliar a usabilidade do console, fornecendo diretrizes para seu uso. Para avaliar a utilização do console em ambientes reais de trabalho, foram realizados registros preliminares em laboratórios químicos, os quais se mostraram viáveis se as limitações, semelhantes às de sistemas baseados em tecnologia ótica, sejam consideradas. Futuras análises devem ser conduzidas para validar estatisticamente os resultados obtidos. Porém, considerando o objetivo do trabalho, pode-se concluir que o sistema avaliado é uma alternativa confiável no contexto proposto.

Single camera pose estimation using Bayesian filtering and Kinect motion priors

Traditional approaches to upper body pose estimation using monocular vision rely on complex body models and a large variety of geometric constraints. We argue that this is not ideal and somewhat inelegant as it results in large processing burdens, and instead attempt to incorporate these constraints through priors obtained directly from training data. A prior distribution covering the probability of a human pose occurring is used to incorporate likely human poses. This distribution is obtained offline, by fitting a Gaussian mixture model to a large dataset of recorded human body poses, tracked using a Kinect sensor. We combine this prior information with a random walk transition model to obtain an upper body model, suitable for use within a recursive Bayesian filtering framework. Our model can be viewed as a mixture of discrete Ornstein-Uhlenbeck processes, in that states behave as random walks, but drift towards a set of typically observed poses. This model is combined with measurements of the human head and hand positions, using recursive Bayesian estimation to incorporate temporal information. Measurements are obtained using face detection and a simple skin colour hand detector, trained using the detected face. The suggested model is designed with analytical tractability in mind and we show that the pose tracking can be Rao-Blackwellised using the mixture Kalman filter, allowing for computational efficiency while still incorporating bio-mechanical properties of the upper body. In addition, the use of the proposed upper body model allows reliable three-dimensional pose estimates to be obtained indirectly for a number of joints that are often difficult to detect using traditional object recognition strategies. Comparisons with Kinect sensor results and the state of the art in 2D pose estimation highlight the efficacy of the proposed approach.

A Kinect Based Indoor Navigation System for the Blind

Team NAVIGATE aims to create a robust, portable navigational aid for the blind. Our prototype uses depth data from the Microsoft Kinect to perform realtime obstacle avoidance in unfamiliar indoor environments. The device augments the white cane by performing two signi cant functions: detecting overhanging objects and identifying stairs. Based on interviews with blind individuals, we found a combined audio and haptic feedback system best for communicating environmental information. Our prototype uses vibration motors to indicate the presence of an obstacle and an auditory command to alert the user to stairs ahead. Through multiple trials with sighted and blind participants, the device was successful in detecting overhanging objects and approaching stairs. The device increased user competency and adaptability across all trials.

Kinect and Episodic Reasoning for Human Action Recognition

This paper presents a method for rational behaviour recognition that combines vision-based pose estimation with knowledge modeling and reasoning. The proposed method consists of two stages. First, RGB-D images are used in the estimation of the body postures. Then, estimated actions are evaluated to verify that they make sense. This method requires rational behaviour to be exhibited. To comply with this requirement, this work proposes a rational RGB-D dataset with two types of sequences, some for training and some for testing. Preliminary results show the addition of knowledge modeling and reasoning leads to a significant increase of recognition accuracy when compared to a system based only on computer vision.

Efeitos especiais mediados por Kinect em contexto de espetáculo de dança ao vivo

A dança e os espetáculos foram atividades desenvolvidas e praticadas pelo homem desde praticamente a sua existência. Ao longo de todo esse período de tempo e até aos dias atuais estas atividades foram sofrendo evoluções que as fizeram manterem-se relevantes e de grande importância na sociedade humana e na sua cultura. A evolução não se fez sentir apenas no estilo das danças e espetáculos mas também nos acessórios e efeitos que estas implementam de forma a torna-las mais atrativas para quem as vê. Apesar desta evolução, a maioria dos efeitos não permite um nível de interação com a dança ou espetáculo, fazendo com que exista uma clara separação entre a componente pura da dança e o cenário do espetáculo no que diz respeito á componente acessória de efeitos. Com o intuito de colmatar esta clara divisão de componentes, iniciamos um estudo no sentido de criar um sistema que permitisse derrubar essa barreira e juntar as duas componentes com o intuito de criar efeitos que interajam com a própria dança tornando o espetáculo mais interativo, e que não seja apenas mais um componente acessório, isto ao mesmo tempo torna todo o espetáculo mais apelativo para o público em geral. Para conseguir criar tal sistema, recorremos às tecnologias de sensores de movimento atuais para que a ponte de ligação entre o artista e os efeitos fosse conseguida. No mercado existem diversas ofertas de sensores de movimentos que serviriam para criar o sistema, mas apenas um poderia ser escolhido, então para tal numa primeira parte foi feito um estudo para determinar qual destes sensores seria o mais adequado para ser utilizado no sistema, tendo em conta uma diversidade de fatores. Após a escolha do sensor foi então desenvolvido o sistema MoveU e tendo no final sido feitos uma série de testes que permitiram validar o protótipo e verificar se os objetivos propostos foram atingidos. Por fim, o MoveU foi demonstrado a uma série de pessoas (dançarinos e espectadores), para que pudessem opinar sobre ele e indicar possíveis melhoramentos. Foram também criados uma série de questionários para que o público a quem foi demonstrado o protótipo, com a finalidade de realizar uma análise estatística para determinar se este sistema seria do agrado das pessoas e também permitir retirar conclusões sobre este trabalho.

Évaluation des jeux Kinect à l’aide du suivi physiologique, du suivi oculaire et des réactions faciales du joueur.

Les données sont analysées par le logiciel conçu par François Courtemanche et Féthi Guerdelli. L'expérimentation des jeux a eu lieu au Laboratoire de recherche en communication multimédia de l'Université de Montréal.

Prescription software for recovery and rehabilitation using Microsoft Kinect

Brain injuries, including stroke, can be debilitating incidents with potential for severe long term effects; many people stop making significant progress once leaving in-patient medical care and are unable to fully restore their quality of life when returning home. The aim of this collaborative project, between the Royal Berkshire NHS Foundation Trust and the University of Reading, is to provide a low cost portable system that supports a patient's condition and their recovery in hospital or at home. This is done by providing engaging applications with targeted gameplay that is individually tailored to the rehabilitation of the patient's symptoms. The applications are capable of real-time data capture and analysis in order to provide information to therapists on patient progress and to further improve the personalized care that an individual can receive.

Low cost multimodal facial recognition via kinect sensors

This paper presents a novel low cost 3D facial recognition using gaming sensors such as Kinect™. The paper describes the hardware, calibration and infrared noise and pattern interference challenges of integrating multiple Kinect sensors. The preliminary results show a promising trend for low cost solutions that can be populated in crowded facilities such as malls and airports.