Wii-immersion: aprovechando las capacidades del Wiimote para la mejora de la sensación de inmersión

En este proyecto se proponen dos utilidades para mejorar la sensación de inmersión en un entorno virtual. Ambas utilidades pretenden aportar una interacción más intuitiva. Para ello, las dos se basan en capturar el movimiento del usuario a través de distintos dispositivos. En la primera utilidad se obtiene la posición de la cabeza del usuario y se visualiza la escena en base a dicha posición. Esto se consigue usando un Wiimote a modo de cámara infra-roja en combinación con unas gafas con leds infra-rojos para determinar la posición de la cabeza. La segunda utilidad consiste en un control gestual con seis grados de libertad. El control gestual permite manipular un objeto real, es decir, trasladarlo y rotarlo y que dicha manipulación se refleje en un objeto virtual. Manipulando el objeto es posible interactuar con el entorno virtual visualizado mediante el GTI Framework. La manipulación del control gestual permite interactuar de una forma muy natural, similar a como se interactuaría en un entorno real. Como objeto real se ha empleado un Wiimote en combinación con el periférico Motion Plus y una esfera luminosa ubicada en su extremo. El Motion Plus permite obtener la orientación, y mediante una cámara PlayStation Eye se detecta la esfera, que determina la posición del Wiimote

Lightboard: un programma efficiente per costruire una LIM con Raspberry Pi e Wiimote

Analisi e realizzazione di un programma efficiente per creare una lavagna multimediale con Raspberry Pi e Wiimote in linguaggio C.

Interfaces baseadas em gestos e movimento

Dissertação de Mestrado em Engenharia Informática

Juguem amb la Wii!: telemesura d'acceleracions en 3D : desenvolupament d'un projecte informàtic de codi lliure

Treball de recerca realitzat per un alumne d'ensenyament secundari i guardonat amb un Premi CIRIT per fomentar l'esperit científic del Jovent l'any 2009. Aquest treball de recerca és un projecte sobre el disseny i la creació d’un programa informàtic de codi obert amb l’objectiu de mesurar acceleracions en tres dimensions utilitzant el comandament de la wii, també conegut com a wiimote. Per tant, s'ha creat un programa que es connecta amb el wiimote, en rep les dades, les guarda i les representa per analitzar posteriorment diversos tipus de moviments i les seves acceleracions. Per tal de fer això es va aprofitar una biblioteca de funcions de codi obert ja existent que aporta les funcions principals per a la comunicació i control del comandament. El codi obert és un concepte que s’utilitza per als projectes informàtics, el codi dels quals està a la disposició de qui el necessiti. La biblioteca utilitzada està escrita en llenguatge C i per a plataforma Linux, i per tal d’aprofitar-la es va haver d’aprendre a utilitzar tant el llenguatge com la plataforma ja que no s'hi havia treballat mai abans. Gràcies a aquest projecte s'ha tingut la possibilitat de veure el funcionament d’algunes tecnologies alternatives i veure’n els avantatges sobre les convencionals o propietàries. Així doncs, des del punt de vista de l'autor, ha estat útil i enriquidor el fet de realitzar-lo.

Calibration de systèmes de caméras et projecteurs dans des applications de création multimédia

Ce mémoire s'intéresse à la vision par ordinateur appliquée à des projets d'art technologique. Le sujet traité est la calibration de systèmes de caméras et de projecteurs dans des applications de suivi et de reconstruction 3D en arts visuels et en art performatif. Le mémoire s'articule autour de deux collaborations avec les artistes québécois Daniel Danis et Nicolas Reeves. La géométrie projective et les méthodes de calibration classiques telles que la calibration planaire et la calibration par géométrie épipolaire sont présentées pour introduire les techniques utilisées dans ces deux projets. La collaboration avec Nicolas Reeves consiste à calibrer un système caméra-projecteur sur tête robotisée pour projeter des vidéos en temps réel sur des écrans cubiques mobiles. En plus d'appliquer des méthodes de calibration classiques, nous proposons une nouvelle technique de calibration de la pose d'une caméra sur tête robotisée. Cette technique utilise des plans elliptiques générés par l'observation d'un seul point dans le monde pour déterminer la pose de la caméra par rapport au centre de rotation de la tête robotisée. Le projet avec le metteur en scène Daniel Danis aborde les techniques de calibration de systèmes multi-caméras. Pour son projet de théâtre, nous avons développé un algorithme de calibration d'un réseau de caméras wiimotes. Cette technique basée sur la géométrie épipolaire permet de faire de la reconstruction 3D d'une trajectoire dans un grand volume à un coût minime. Les résultats des techniques de calibration développées sont présentés, de même que leur utilisation dans des contextes réels de performance devant public.

Le rôle des interfaces dans l’expérience de jeu vidéo : le jeu du ping-pong et son adaptation sur des plateformes numériques

Le succès commercial des jeux vidéo nous montre qu’ils sont devenus une alternative non négligeable en matière de loisir et de divertissement. En observant les tendances, on constate que les concepteurs de jeux vidéo cherchent à transposer ou adapter les loisirs comme la danse, l’interprétation de la musique ou la pratique d’un sport dans le contexte de jeux vidéo (l’univers virtuel) et ceci est devenu encore plus évident depuis l’apparition des nouvelles technologies intégrant le mouvement comme mode d'interaction. En rapport aux activités dont les jeux vidéo s’inspirent, ces tendances entraînent des changements considérables sur l’aspect formel de l’activité ludique et notamment l’interaction. Dans le cas particulier du tennis de table, ou ping-pong dans le langage courant, il semble y avoir des différences en terme de plaisir lors de la pratique de ce loisir de façon traditionnelle ou en mode virtuel dans ses différentes adaptations. Le but de cette recherche est de mettre en évidence les différences entre l’appréciation de l’interaction avec le contrôleur multifonctionnel Wiimote et une raquette traditionnelle de ping-pong et de découvrir les implications sur l’expérience du plaisir de la transposition du jeu ping-pong traditionnel comparé aux adaptations sur la console Wii. Ainsi, en regard du CLASSIC GAME MODEL de Juul (2005) et du modèle THE FOUR FUN KEYS de Lazzaro (2008) nous comparons les deux modes d’interaction, jeu traditionnel avec le jeu virtuel, sur le plan formel du jeu et sur les dimensions du plaisir que chacun procure. Les résultats obtenus par l’observation des tests de jeu et l’entremise des autres outils permettent de souligner le rôle déterminant des interfaces dans l’engagement des joueurs et de montrer les limites des interfaces digitales par rapport à celle des jeux traditionnels.

Sistema gerador de apoio a um dicionário temático visual-gestual baseado em realidade virtual

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Um sistema de rastreamento de câmeras para estúdios virtuais

Pós-graduação em Televisão Digital: Informação e Conhecimento - FAAC

Dispositivos não convencionais para o rastreamento do corpo humano

Due to the popularity and need to learn sign language, there are tools that help in this type of communication. In Brazil, for example, the government offers professional Sign Language to assist communities, however, if think the hypothesis that people live in places difficult access, there is a difficult in movement of professionals to such places, besides bringing government overspending. Thus, a tool that simulates the movements of professional, fully exploiting the technological resources (cost-benefit) to enrich and provide a tool for communities, it becomes possible order to fill this gap. The system provides resources for editing movements, and these, later, are retrieved by tool for the visualization and representation of signals in a Virtual Environment. The resources used, provide two unconventional devices for tracking body, the Wiimote controllers and P5 glove.

A low cost system for the prediagnosis of the human tremor

Human tremor can be defined as a somewhat rhythmic and quick movement of one or more body parts. In some people, it is a symptom of a neurological disorder. From the mathematical point of view, human tremor can be defined as a weighted contribution of different sinusoidal signals which causes oscillations of some parts of the body. This sinusoidal is repeated over time, but its amplitude and frequency change slowly. This is why amplitude and frequency are considered important factors in the tremor characterization, and thus for its diagnosis. In this paper, a tool for the prediagnosis of the human tremor is presented. This tool uses a low cost device (<$40) and allows to compute the main factors of the human tremor accurately. Real cases have been tested using the algorithms developed in this investigation. The patients suffered from different tremor severities, and the components of amplitude and frequency were computed using a series of tests. These additional measures will help the experts to make better diagnoses allowing them to focus on specific stages of the test or get an overview of these tests. From the experimental, we stated that not all tests are valid for every patient to give a diagnosis. Guided by years of experience, the expert will decide which test or set of tests are the most appropriate for a patient.

Evaluación del temblor humano a través de dispositivos de bajo coste

El temblor humano puede definirse como un movimiento rápido y, en cierta manera, rítmico de una o más partes del cuerpo. En algunas personas, este movimiento puede ser un síntoma de alguna alteración a nivel neurológico. Desde el punto de vista matemático, el temblor humano puede ser definido como una suma ponderada de diferentes señales sinusoidales que causan oscilaciones de algunas partes del cuerpo. Esta sinusoide se repite en el tiempo pero su amplitud y frecuencia cambian lentamente. Por esta razón, la amplitud y la frecuencia son consideradas factores importantes en la clasificación del temblor y por tanto útiles en su diagnóstico. En este artículo, se presenta una herramienta de ayuda al diagnóstico del temblor humano. Esta herramienta usa un dispositivo hardware de bajo coste (<$40) y permite calcular las principales componentes de esta sinusoide asociada al temblor de una manera precisa. Como casos de estudio se presentan su aplicación a dos casos reales para probar la bondad de los algoritmos desarrollados. Los casos muestran pacientes que sufrían temblores con distinta severidad y que han realizado una serie de tests con el dispositivo para que el sistema calculara las principales componentes del temblor. Estas medidas aportadas por el sistema ayudarían en un futuro a los expertos a tomar decisiones más precisas permitiéndoles centrarse en determinadas fases del test o la realización de tests más específicos para evaluar mejor las características propias del temblor del paciente. De la experimentación realizada podemos afirmar que no todos los tests son válidos para el diagnóstico para todos los pacientes. Será finalmente la experiencia del profesional el que decidirá finalmente qué test o conjunto de tests son los más apropiados para cada paciente.

3D navigation with six degrees-of-freedom using a multi-touch display

With the introduction of new input devices, such as multi-touch surface displays, the Nintendo WiiMote, the Microsoft Kinect, and the Leap Motion sensor, among others, the field of Human-Computer Interaction (HCI) finds itself at an important crossroads that requires solving new challenges. Given the amount of three-dimensional (3D) data available today, 3D navigation plays an important role in 3D User Interfaces (3DUI). This dissertation deals with multi-touch, 3D navigation, and how users can explore 3D virtual worlds using a multi-touch, non-stereo, desktop display. ^ The contributions of this dissertation include a feature-extraction algorithm for multi-touch displays (FETOUCH), a multi-touch and gyroscope interaction technique (GyroTouch), a theoretical model for multi-touch interaction using high-level Petri Nets (PeNTa), an algorithm to resolve ambiguities in the multi-touch gesture classification process (Yield), a proposed technique for navigational experiments (FaNS), a proposed gesture (Hold-and-Roll), and an experiment prototype for 3D navigation (3DNav). The verification experiment for 3DNav was conducted with 30 human-subjects of both genders. The experiment used the 3DNav prototype to present a pseudo-universe, where each user was required to find five objects using the multi-touch display and five objects using a game controller (GamePad). For the multi-touch display, 3DNav used a commercial library called GestureWorks in conjunction with Yield to resolve the ambiguity posed by the multiplicity of gestures reported by the initial classification. The experiment compared both devices. The task completion time with multi-touch was slightly shorter, but the difference was not statistically significant. The design of experiment also included an equation that determined the level of video game console expertise of the subjects, which was used to break down users into two groups: casual users and experienced users. The study found that experienced gamers performed significantly faster with the GamePad than casual users. When looking at the groups separately, casual gamers performed significantly better using the multi-touch display, compared to the GamePad. Additional results are found in this dissertation.^

3D Navigation with Six Degrees-of-Freedom using a Multi-Touch Display

With the introduction of new input devices, such as multi-touch surface displays, the Nintendo WiiMote, the Microsoft Kinect, and the Leap Motion sensor, among others, the field of Human-Computer Interaction (HCI) finds itself at an important crossroads that requires solving new challenges. Given the amount of three-dimensional (3D) data available today, 3D navigation plays an important role in 3D User Interfaces (3DUI). This dissertation deals with multi-touch, 3D navigation, and how users can explore 3D virtual worlds using a multi-touch, non-stereo, desktop display. The contributions of this dissertation include a feature-extraction algorithm for multi-touch displays (FETOUCH), a multi-touch and gyroscope interaction technique (GyroTouch), a theoretical model for multi-touch interaction using high-level Petri Nets (PeNTa), an algorithm to resolve ambiguities in the multi-touch gesture classification process (Yield), a proposed technique for navigational experiments (FaNS), a proposed gesture (Hold-and-Roll), and an experiment prototype for 3D navigation (3DNav). The verification experiment for 3DNav was conducted with 30 human-subjects of both genders. The experiment used the 3DNav prototype to present a pseudo-universe, where each user was required to find five objects using the multi-touch display and five objects using a game controller (GamePad). For the multi-touch display, 3DNav used a commercial library called GestureWorks in conjunction with Yield to resolve the ambiguity posed by the multiplicity of gestures reported by the initial classification. The experiment compared both devices. The task completion time with multi-touch was slightly shorter, but the difference was not statistically significant. The design of experiment also included an equation that determined the level of video game console expertise of the subjects, which was used to break down users into two groups: casual users and experienced users. The study found that experienced gamers performed significantly faster with the GamePad than casual users. When looking at the groups separately, casual gamers performed significantly better using the multi-touch display, compared to the GamePad. Additional results are found in this dissertation.