E��valuation des jeux Kinect a�� l���aide du suivi physiologique, du suivi oculaire et des re��actions faciales du joueur.

Les donn��es sont analys��es par le logiciel con��u par Fran��ois Courtemanche et F��thi Guerdelli. L'exp��rimentation des jeux a eu lieu au Laboratoire de recherche en communication multim��dia de l'Universit�� de Montr��al.

Corps et ��me en mouvement. Expression et signification du mouvement dans la peinture de vases en Gr��ce ancienne (VIe-IVe s. av. J.-C.). Ivresse, possession divine et mort.

Th��se r��alis��e en cotutelle avec l'universit�� de Franche-Comt��, ��cole doctorale Langage, espace, temps et soci��t��.

Navega����o, reconhecimento de gestos e controle de interface no sistema ITV utilizando o dispositivo kinect

Esta disserta����o apresenta a implementa����o de navega����o no ambiente virtual, reconhecimento de gestos e controle de interface, feitos atrav��s do dispositivo Kinect, no Sistema ITV: um sistema de treinamento de operadores e mantenedores de usinas hidrel��tricas e subesta����es el��tricas. S��o mostrados, tamb��m, determinados aperfei��oamentos recentes, como convers��o em v��deo, telas de alarmes sonoros e visuais, ambienta����o sonora em tr��s dimens��es e narra����o do processo. Al��m da apresenta����o do Sistema ITV, s��o expostos o dispositivo Kinect e o algoritmo utilizado na compara����o dos padr��es de movimento, o DTW. Em seguida, s��o abordados em detalhes o projeto e a implementa����o da navega����o, do reconhecimento de gestos e do controle de interface. Como estudo de caso, �� exibida uma Instru����o T��cnica Virtual (ITV), elaborada especialmente para testar e avaliar a nova interface proposta. Posteriormente, s��o apresentados os resultados, considerados satisfat��rios, obtidos atrav��s da an��lise de question��rios qualitativos aplicados a estudantes da Universidade Federal do Par��. Por fim, s��o realizadas as considera����es referentes a este trabalho e expostas id��ias de trabalhos futuros.

Desenvolvimento da ferramenta MS2PSOC: Tradu����o de modelos descritos no matlab/simulink para o ambiente psoc creator

P��s-gradua����o em Engenharia El��trica - FEIS

Riconoscimento di gesti: estensione a pi�� punti del corpo e ad attori multipli

Negli ultimi anni si �� assistito ad una radicale rivoluzione nell���ambito dei dispositivi di interazione uomo-macchina. Da dispositivi tradizionali come il mouse o la tastiera si �� passati allo sviluppo di nuovi sistemi capaci di riconoscere i movimenti compiuti dall���utente (interfacce basate sulla visione o sull���uso di accelerometri) o rilevare il contatto (interfacce di tipo touch). Questi sistemi sono nati con lo scopo di fornire maggiore naturalezza alla comunicazione uomo-macchina. Le nuove interfacce sono molto pi�� espressive di quelle tradizionali poich�� sfruttano le capacit�� di comunicazione naturali degli utenti, su tutte il linguaggio gestuale. Essere in grado di riconoscere gli esseri umani, in termini delle azioni che stanno svolgendo o delle posture che stanno assumendo, apre le porte a una serie vastissima di interessanti applicazioni. Ad oggi sistemi di riconoscimento delle parti del corpo umano e dei gesti sono ampiamente utilizzati in diversi ambiti, come l���interpretazione del linguaggio dei segni, in robotica per l���assistenza sociale, per indica- re direzioni attraverso il puntamento, nel riconoscimento di gesti facciali [1], interfacce naturali per computer (valida alternativa a mouse e tastiera), ampliare e rendere unica l���esperienza dei videogiochi (ad esempio Microsoft 1 Introduzione Kinect�� e Nintendo Wii��), nell���a���ective computing1 . Mostre pubbliche e musei non fanno eccezione, assumendo un ruolo cen- trale nel coadiuvare una tecnologia prettamente volta all���intrattenimento con la cultura (e l���istruzione). In questo scenario, un sistema HCI deve cercare di coinvolgere un pubblico molto eterogeneo, composto, anche, da chi non ha a che fare ogni giorno con interfacce di questo tipo (o semplicemente con un computer), ma curioso e desideroso di bene���ciare del sistema. Inoltre, si deve tenere conto che un ambiente museale presenta dei requisiti e alcune caratteristiche distintive che non possono essere ignorati. La tecnologia immersa in un contesto tale deve rispettare determinati vincoli, come: - non pu�� essere invasiva; - deve essere coinvolgente, senza mettere in secondo piano gli artefatti; - deve essere ���essibile; - richiedere il minor uso (o meglio, la totale assenza) di dispositivi hardware. In questa tesi, considerando le premesse sopracitate, si presenta una sistema che pu�� essere utilizzato e���cacemente in un contesto museale, o in un ambiente che richieda soluzioni non invasive. Il metodo proposto, utilizzando solo una webcam e nessun altro dispositivo personalizzato o speci���co, permette di implementare i servizi di: (a) rilevamento e (b) monitoraggio dei visitatori, (c) riconoscimento delle azioni.

Studio e implementazione di un autopilota su un UAV ad ala fissa

Si riporta inizialmente un���analisi tecnica dell���autopilota Ardupilot, utilizzato con il firmware Arduplane, che predispone la scheda all���utilizzo specifico su velivoli senza pilota ad ala fissa. La parte sostanziale della tesi riguarda invece lo studio delle leggi di controllo implementate su Arduplane e la loro modellazione, assieme ad altre parti del codice, in ambiente Matlab Simulink. Il sistema di controllo creato, chiamato Attitude Flight System, viene verificato con la tecnica del Software In the Loop in un simulatore di volo virtuale modellato anch���esso in Simulink, si utilizza la dinamica di un velivolo UAV di prova e il software FlightGear per l���ambiente grafico. Di fondamentale importanza �� la verifica della compatibilit�� fra il firmware originale e il codice generato a partire dai modelli Simulink, verifica effettuata mediante test di tipo Hardware in the Loop. L���ultima parte della tesi descrive le prove di volo svolte per verificare le prestazioni della scheda su un aeromodello trainer.

Modellistica e determinazione della dinamica di un quadrotor UAV per fini di controllo

Nella tesi vengono proposte una modellazione di un quadrotor affetto da un campo vettoriale incognito aerodinamico e la sua identificazione basata su non linear geometric approach e su reti neurali a funzione di base radiale (RBF). Il non linear geometric approach viene utilizzato per il disaccoppiamento delle componenti incognite aerodinamiche mentre le modellazione RBF dei coefficienti permette di applicare un algoritmo ai minimi quadrati per l'identificazione del sistema. Infine viene implementato un simulatore in ambiente MATLAB Simulink per la validazione della metodologia. Le simulazioni effettuate dimostrano la bont�� del metodo proposto.

Progetto preliminare di un UAV multi-modale

Studio, a livello preliminare, di un sistema a pilotaggio remoto che permetta la sorveglianza e il monitoraggio di zone aeree e marine ad alto rischio e in contemporanea di compiere una raccolta di dati che possa essere inviata in tempo reale ad un utente a terra. Negli ultimi anni si �� sviluppato notevolmente il settore dei velivoli a pilotaggio remoto sia ad ala fissa sia ad ala rotante, per la videoripresa e la fotografia aerea a bassa quota, che �� utilizzata in molti ambiti tra i quali la fotogrammetria, la geologia e l���archeologia, nonch�� per studi scientifici e per la sicurezza. Nel presente lavoro di tesi �� stata studiata la fattibilit�� di un UAV capace di effettuare la sua missione, previa pianificazione, in due ambienti completamente diversi fra loro: l���aria e l���acqua. Cos�� facendo si ha la possibilit�� di acquistare un solo mezzo con costi minori e con un profilo di missione molto pi�� vasto. Lo sviluppo di questo drone, pensato per operazioni di protezione civile, si �� articolato in pi�� fasi: anzitutto si �� cercato di stabilire quale fosse il suo ambito di utilizzo e quali caratteristiche avrebbe dovuto avere. Successivamente si �� iniziato a valutare l���equipaggiamento del velivolo con tutti i sistemi necessari per compiere la sua attivit�� ed infine si �� realizzato un disegno CAD semplificato della sua struttura. La seconda parte del lavoro �� stata incentrata sullo studio preliminare della stabilit�� del velivolo sia in configurazione aerea sia in quella marina andando dapprima a calcolare la posizione del baricentro dell���UAV in modo da avere un velivolo aereo staticamente stabile e a simularne il volo. Successivamente si �� modificato un modello Simulink di un UAV disponibile in rete, adattandolo opportunamente a questo caso per simulare parte della missione e si �� potuto constatare che il velivolo risulta essere stabile; per far questo sono state calcolate diverse derivate aerodinamiche in modo da poter simulare il comportamento dinamico del velivolo. Anche per la configurazione marina sono state calcolate le derivate aerodinamiche pi�� significative ed �� stata realizzata una simulazione per valutare la stabilit�� del ROV, sempre a comandi fissi. In ultima analisi si �� studiata una missione tipica che potrebbe effettuare questo UAV multi-modale: per fare ci�� si �� tracciata in Google Earth una traiettoria cui sono stati aggiunti alcuni modelli CAD nelle fasi principali del volo per far capire come varia la forma del mezzo durante la missione. Lo scenario della missione �� in un contesto di disastro ambientale dovuto ad un incidente in una centrale nucleare vicina al mare, caso che ben si presta alla applicazione di questo mezzo a pilotaggio remoto.

Analisi sperimentale sull'utilizzo del Microsoft Kinect One come sistema di Body Tracking per la realta virtuale in riabilitazione

In questo progetto di tesi sar�� innanzitutto presentato il Kinect One e sar�� fatta una panoramica sull���uso della realt�� virtuale in ambito riabilitativo. In seguito sar�� analizzato l���algoritmo di Body tracking, valutandone il comportamento in diverse situazioni pratiche e poi stimandone la precisione in statica. Sar�� presentato un filtraggio per limitare il rumore in tempo reale e valutarne i pro ed i contro in funzione delle caratteristiche impostabili. Saranno presentate inoltre le metodologie con cui gli algoritmi integrati del Kinect permettono di ricavare una stima dell���orientamento delle parti anatomiche nello spazio ed alcune considerazioni circa le implicazioni pratiche di tali metodologie, anche in base alle osservazioni sul campo ottenute durante i mesi di realizzazione di questo progetto. Lo scopo �� determinare se e come sia possibile utilizzare il Microsoft Kinect One come unico sistema di motion tracking del paziente in applicazioni cliniche di riabilitazione, quali limiti ci sono nel suo utilizzo e quali categorie di scenari e prove potrebbe supportare.

You Can't Touch This: Touch-free Navigation Through Radiological Images

Keyboards, mice, and touch screens are a potential source of infection or contamination in operating rooms, intensive care units, and autopsy suites. The authors present a low-cost prototype of a system, which allows for touch-free control of a medical image viewer. This touch-free navigation system consists of a computer system (IMac, OS X 10.6 Apple, USA) with a medical image viewer (OsiriX, OsiriX foundation, Switzerland) and a depth camera (Kinect, Microsoft, USA). They implemented software that translates the data delivered by the camera and a voice recognition software into keyboard and mouse commands, which are then passed to OsiriX. In this feasibility study, the authors introduced 10 medical professionals to the system and asked them to re-create 12 images from a CT data set. They evaluated response times and usability of the system compared with standard mouse/keyboard control. Users felt comfortable with the system after approximately 10 minutes. Response time was 120 ms. Users required 1.4 times more time to re-create an image with gesture control. Users with OsiriX experience were significantly faster using the mouse/keyboard and faster than users without prior experience. They rated the system 3.4 out of 5 for ease of use in comparison to the mouse/keyboard. The touch-free, gesture-controlled system performs favorably and removes a potential vector for infection, protecting both patients and staff. Because the camera can be quickly and easily integrated into existing systems, requires no calibration, and is low cost, the barriers to using this technology are low.

Estimating Gesture Accuracy in Motion-Based Health Games

This manuscript details a technique for estimating gesture accuracy within the context of motion-based health video games using the MICROSOFT KINECT. We created a physical therapy game that requires players to imitate clinically significant reference gestures. Player performance is represented by the degree of similarity between the performed and reference gestures and is quantified by collecting the Euler angles of the player's gestures, converting them to a three-dimensional vector, and comparing the magnitude between the vectors. Lower difference values represent greater gestural correspondence and therefore greater player performance. A group of thirty-one subjects was tested. Subjects achieved gestural correspondence sufficient to complete the game's objectives while also improving their ability to perform reference gestures accurately.

Evaluaci��n de las librer��as disponibles para la definici��n de gestos y uso de los mismos para ser usados en U.I. con Kinect

La r��pida evoluci��n de tecnolog��as que mejoran la interacci��n con los ordenadores ha cambiado la forma de pensar de la sociedad actual. Una de las ��ltimas alternativas se centra en el reconocimiento facial y de gestos, el cual ha dado muy buenos resultados, acercando ordenadores y humanos. El objetivo de este proyecto era desarrollar un prototipo que permita el reconocimiento de gestos mediante el dispositivo Kinect, el cual usa una de las tecnolog��as mencionadas anteriormente. Para la realizaci��n de este prototipo, fue necesario el estudio del funcionamiento de Kinect. Una vez realizado, el siguiente paso consisti�� en la b��squeda de librer��as que facilitaran el reconocimiento de gestos, para compararlas y finalmente escoger una de ellas. Al ser una tecnolog��a reciente, no existen demasiadas aplicaciones que utilicen Kinect y por lo tanto, la b��squeda de la librer��a era una parte fundamental del proyecto. Tras elegir la librer��a, se analizaron las caracter��sticas que deb��a tener el prototipo para realizar el dise��o del mismo. Este dise��o se realiz�� de forma iterativa y con numerosos cambios para otorgar al prototipo la mayor abstracci��n posible y una mayor orientaci��n a objetos, para de esta manera, favorecer los posibles cambios que sean necesarios al ser una tecnolog��a nueva y muy cambiante. Finalmente, el paso final fue la implementaci��n del prototipo bajo el dise��o propuesto, consiguiendo un prototipo funcional capaz de reconocer, almacenar, mostrar y definir diferentes gestos. Los resultados ofrecidos por Kinect son muy satisfactorios, con una gran precisi��n y eficiencia, demostrando el potencial de las nuevas tecnolog��as de interacci��n sin contacto, cuyo ��nico defecto se encuentra en ser una tecnolog��a poco madura y en evoluci��n. ---------------------------------------------------------------------------------------------------------- The fast development of technologies that enhance interaction with computers has changed the mindset of the society. One of the latest alternatives focuses on face and gesture recognition, which has been very successful, bringing closer computers and humans. The purpose of this project was to develop a gesture recognition prototype with the Kinect device, which uses one of the technologies mentioned above. For the realization of this prototype, it was necessary to study how Kinect works. Once done, the next step was to search for libraries to facilitate the gesture recognition, to compare them and finally choose one of them. Because it is a recent technology, there are not many applications that use Kinect and therefore, the library search was an essential part of the project. After selecting the library, the characteristics that the prototype should have were analyzed for the design. This design was performed iteratively with numerous changes to give the prototype abstraction and object orientation, because as a new technology, it changes fast. Therefore, with this design it would be easier to deal with possible changes. Finally, the final step was the implementation of the prototype under the proposed design, getting a functional prototype able to recognize, store, display and define different gestures. The results offered by Kinect are very satisfactory, with high accuracy and efficiency, demonstrating the potential of the new interaction technologies without contact, whose only fault is to be a little mature technology and evolving.

Usando Kinect como sensor para una pulverizaci��n inteligente.

Este trabajo esta orientado a resolver el problema de la caracterizaci��n de la copa de arboles frutales para la aplicacion localizada de fitosanitarios. Esta propuesta utiliza un mapa de profundidad (Depth image) y una imagen RGB combinadas (RGB-D), proporcionados por el sensor Kinect de Microsoft, para aplicar pesticidas de forma localizada. A trav��s del mapa de profundidad se puede estimar la densidad de la copa y a partir de esta informaci��n determinar qu�� boquillas se deben abrir en cada momento. Se desarrollaron algoritmos implementados en Matlab que permiten adem��s de la adquisici��n de las im��genes RGB-D, aplicar plaguicidas s��lo a hojas y/o frutos seg��n se desee. Estos algoritmos fueron implementados en un software que se comunica con el entorno de desarrollo "Kinect Windows SDK", encargado de extraer las im��genes desde el sensor Kinect. Por otra parte, para identificar hojas, se implementaron algoritmos de clasificaci��n e identificaci��n. Los algoritmos de clasificaci��n utilizados fueron "Fuzzy C-Means con Gustafson Kessel" (FCM-GK) y "K-Means". Los centroides o prototipos de cada clase generados por FCM-GK fueron usados como semilla para K-Means, para acelerar la convergencia del algoritmo y mantener la coherencia temporal en los grupos generados por K-Means. Los algoritmos de clasificaci��n fueron aplicados sobre las im��genes transformadas al espacio de color L*a*b*; espec��ficamente se emplearon los canales a*, b* (canales crom��ticos) con el fin de reducir el efecto de la luz sobre los colores. Los algoritmos de clasificaci��n fueron configurados para buscar cuatro grupos: hojas, porosidad, frutas y tronco. Una vez que el clasificador genera los prototipos de los grupos, un clasificador denominado M��quina de Soporte Vectorial, que utiliza como n��cleo una funci��n Gaussiana base radial, identifica la clase de inter��s (hojas). La combinaci��n de estos algoritmos ha mostrado bajos errores de clasificaci��n, rendimiento del 4% de error en la identificaci��n de hojas. Adem��s, estos algoritmos de procesamiento de hasta 8.4 im��genes por segundo, lo que permite su aplicaci��n en tiempo real. Los resultados demuestran la viabilidad de utilizar el sensor "Kinect" para determinar d��nde y cu��ndo aplicar pesticidas. Por otra parte, tambi��n muestran que existen limitaciones en su uso, impuesta por las condiciones de luz. En otras palabras, es posible usar "Kinect" en exteriores, pero durante d��as nublados, temprano en la ma��ana o en la noche con iluminaci��n artificial, o a��adiendo un parasol en condiciones de luz intensa.

Multi-UAV Coordination and Control Interface

The interest in missions with multiple Unmanned Aerial Vehicles (UAVs) has increased significantly in last years. These missions take advantage of the use of fleets instead of single UAVs to ensure the success, reduce the duration or increase the goals of the mission. In addition, they allow performing tasks that require multiple agents and certain coordination (e.g. surveillance of large areas or transport of heavy loads). Nevertheless, these missions suppose a challenge in terms of control and monitoring. In fact, the workload of the operators rises with the utilization of multiple UAVs and payloads, since they have to analyze more information, make more decisions and generate more commands during the mission. This work addresses the operator workload problem in multi-UAV missions by reducing and selecting the information. Two approaches are considered: a first one that selects the information according to the mission state, and a second one that selects it according to the operator preferences. The result is an interface that is able to control the amount of information and show what is relevant for mission and operator at the time.