Utilização do Kinect no apoio ao ensino/ aprendizagem dos fundamentos da Matemática

A interação humano-computador passou a desempenhar um papel fundamental no mundo atual. Esta forma de comunicar continua a evoluir, introduzindo novas formas de interação, como por exemplo, a interação natural. Este estilo de interação começou por estar presente na área de jogos. No entanto, atualmente está a ser explorada noutras áreas. Esta dissertação tem como propósito investigar a utilidade das interfaces naturais encontradas em consolas de jogos e conjugar com a área educativa, nomeadamente, o ensino e a aprendizagem dos fundamentos de Matemática. O desenvolvimento deste projeto baseou-se no estudo dos conteúdos programáticos de Matemática referentes ao 1º ciclo do ensino básico, de várias aplicações já existentes que estão relacionadas com o tema abordado e de alguns dispositivos de interação natural. De forma a avaliar a ideia proposta, foi desenvolvido um protótipo, designado Matemática Interativa, no sentido de permitir ao utilizador enriquecer a aprendizagem e também o interesse pela disciplina. São descritas, de uma forma mais aprofundada, as funcionalidades do dispositivo escolhido, o Kinect, de modo a tirar proveito das suas potencialidades e desenvolver um motor de reconhecimento de gestos e respetiva avaliação. Por fim, é feita uma discussão dos resultados de uma avaliação de usabilidade com o objetivo de validar a aplicação Matemática Interativa. Os resultados desta avaliação sugerem que a aplicação foi bem-sucedida e revelam ainda capacidades de melhoria.

Efeitos especiais mediados por Kinect em contexto de espetáculo de dança ao vivo

A dança e os espetáculos foram atividades desenvolvidas e praticadas pelo homem desde praticamente a sua existência. Ao longo de todo esse período de tempo e até aos dias atuais estas atividades foram sofrendo evoluções que as fizeram manterem-se relevantes e de grande importância na sociedade humana e na sua cultura. A evolução não se fez sentir apenas no estilo das danças e espetáculos mas também nos acessórios e efeitos que estas implementam de forma a torna-las mais atrativas para quem as vê. Apesar desta evolução, a maioria dos efeitos não permite um nível de interação com a dança ou espetáculo, fazendo com que exista uma clara separação entre a componente pura da dança e o cenário do espetáculo no que diz respeito á componente acessória de efeitos. Com o intuito de colmatar esta clara divisão de componentes, iniciamos um estudo no sentido de criar um sistema que permitisse derrubar essa barreira e juntar as duas componentes com o intuito de criar efeitos que interajam com a própria dança tornando o espetáculo mais interativo, e que não seja apenas mais um componente acessório, isto ao mesmo tempo torna todo o espetáculo mais apelativo para o público em geral. Para conseguir criar tal sistema, recorremos às tecnologias de sensores de movimento atuais para que a ponte de ligação entre o artista e os efeitos fosse conseguida. No mercado existem diversas ofertas de sensores de movimentos que serviriam para criar o sistema, mas apenas um poderia ser escolhido, então para tal numa primeira parte foi feito um estudo para determinar qual destes sensores seria o mais adequado para ser utilizado no sistema, tendo em conta uma diversidade de fatores. Após a escolha do sensor foi então desenvolvido o sistema MoveU e tendo no final sido feitos uma série de testes que permitiram validar o protótipo e verificar se os objetivos propostos foram atingidos. Por fim, o MoveU foi demonstrado a uma série de pessoas (dançarinos e espectadores), para que pudessem opinar sobre ele e indicar possíveis melhoramentos. Foram também criados uma série de questionários para que o público a quem foi demonstrado o protótipo, com a finalidade de realizar uma análise estatística para determinar se este sistema seria do agrado das pessoas e também permitir retirar conclusões sobre este trabalho.

Extensão do SDK do Kinect: criação de uma biblioteca de gestos

As interfaces naturais têm ganho atenção crescente por parte da comunidade científica. Esta interação, nomeadamente baseada em gestos e voz, tem sido progressivamente mais usada para estabelecer a comunicação entre o homem e a máquina de forma natural. Em paralelo, têm surgido no marcado alguns novos dispositivos com o objetivo de suportar estas formas naturais de interface, entre eles, sensores de movimento. Esta dissertação tem como objetivo a proposta de algoritmos projetados para auxiliar o programador no reconhecimento de gestos, especificamente em dispositivos conhecidos como sensores de movimentos. Atualmente o programador tem o trabalho de desenvolver todo o código para adicionar reconhecimento de gestos à sua aplicação. A solução apresentada neste documento propõe um novo conjunto de métodos que visam a criação de uma biblioteca de gestos e a consequente capacidade de reconhecimento de gestos anteriormente armazenados. A validação deste trabalho consistiu na extensão do Software Development Kit (SDK) do dispositivo Kinect, de forma a adicionar ferramentas complementares, que permitam simplificar a definição e reconhecimento de gestos. A primeira parte consiste na captação e armazenamento de gestos, através do mapeamento de pontos, modelando os gestos e armazenando tal modelo. Esta primeira fase permite no desenvolvimento de um sistema a criação de uma biblioteca de gestos pré-definidos, como por exemplo os gestos da Língua Gestual Portuguesa. Numa segunda fase, a extensão do SDK auxilia também as tarefas de reconhecimento de gestos em tempo real, isto é, deteção do gesto que o utilizador de uma aplicação esteja a fazer e procura desse gesto na biblioteca.

Kinect-sign

A nova era da informação que se está a assistir tem possibilitado a criação de novas e vastas coleções de intelecto virtual, como por exemplo o Wikipedia, Corsera, entre outros. Estas ferramentas vieram possibilitar a procura por cultura, resoluções de problemas do quotidiano, novos métodos de aprendizagem, por parte da sociedade em geral. Porém, como é habitual, tem-se vindo a verificar uma certa dificuldade inerente por parte de certas minorias sociais, que não possuem as mesmas capacidades de um indivíduo “normal“. Esta dissertação tem como objetivo a criação de uma ferramenta, em formato de jogo sério, para apoiar o ensino de Língua Gestual Portuguesa a um público ouvinte o -“Kinect Sign”. Com este estudo pretende-se explorar as mais recentes ferramentas de desenvolvimento de jogos, mais conhecidas como Authoring Tools e a sua integração com Natural User interfaces, concretamente o sensor Kinect. A solução apresentada neste documento propõe a utilização desta ferramenta a todos os indivíduos iniciantes que necessitem de uma introdução a esta forma de comunicação, para tornar um pouco menos agressiva a entrada no complexo mundo da linguagem gestual. A validação deste trabalho consistiu no desenvolvimento de um jogo protótipo que incentive os jogadores a aprenderem enquanto jogam. Analisaram-se problemas e tecnologias atuais para se chegar a uma estruturação semelhante a um jogo comum disponível em qualquer superfície comercial e websites dedicados ao género. Posterior apresentação a uma população selecionada a fim de analisar a sua opinião e utilidade do modelo desenvolvido, seguindo-se a resposta a um pequeno questionário.

Sistema de visão robótico baseado no sensor kinect para orientação no espaço e contorno de obstáculos

Dissertação de mestrado em Engenharia Eletrónica Industrial e Computadores (área de especialização em Robótica)

Motion capture amb Microsoft Kinect

El proyecto trata de convertirse en una herramienta para animadores 3D, tanto para los que hacen películas como para los que modelan videojuegos, que necesiten de un software para simplificar el trabajo que conlleva animar un modelo 3D. Todo sin necesidad de usar trajes especializados. El proyecto, usando Kinect, convertirá los movimientos captados por la cámara y los agregará al modelo, creando una animación basándose en los movimientos reales de una persona.

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Correcció postural esportiva utilitzant un sensor Kinect

Aquest projecte s’emmarca dins de l’àmbit de la visió per computador, concretament en la utilització de dades de profunditat obtingudes a través d’un emissor i sensor de llum infraroja.El propòsit principal d’aquest projecte és mostrar com adaptar aquestes tecnologies, a l’abast de qualsevol particular, de forma que un usuari durant la pràctica d’una activitat esportiva concreta, rebi informació visual continua dels moviments i gestos incorrectes que està realitzant, en base a uns paràmetres prèviament establerts.L’objectiu d’aquest projecte consisteix en fer una lectura constant en temps real d’una persona practicant una selecció de diverses activitats esportives estàtiques utilitzant un sensor Kinect. A través de les dades obtingudes pel sensor Kinect i utilitzant les llibreries de “skeleton traking” proporcionades per Microsoft s’haurà d’interpretar les dades posturals obtingudes per cada tipus d’esport i indicar visualment i d’una manera intuïtiva els errors que està cometent en temps real, de manera que es vegi clarament a quina part del seu cos realitza un moviment incorrecte per tal de poder corregir-lo ràpidament. El entorn de desenvolupament que s’utilitza per desenvolupar aquesta aplicació es Microsoft Viusal Studio 2010.El llenguatge amb el qual es treballarà sobre Microsoft Visual Studio 2010 és C#

Reconeixement de gestos de la mà amb el sensor Kinect

El reconeixement dels gestos de la mà (HGR, Hand Gesture Recognition) és actualment un camp important de recerca degut a la varietat de situacions en les quals és necessari comunicar-se mitjançant signes, com pot ser la comunicació entre persones que utilitzen la llengua de signes i les que no. En aquest projecte es presenta un mètode de reconeixement de gestos de la mà a temps real utilitzant el sensor Kinect per Microsoft Xbox, implementat en un entorn Linux (Ubuntu) amb llenguatge de programació Python i utilitzant la llibreria de visió artifical OpenCV per a processar les dades sobre un ordinador portàtil convencional. Gràcies a la capacitat del sensor Kinect de capturar dades de profunditat d’una escena es poden determinar les posicions i trajectòries dels objectes en 3 dimensions, el que implica poder realitzar una anàlisi complerta a temps real d’una imatge o d’una seqüencia d’imatges. El procediment de reconeixement que es planteja es basa en la segmentació de la imatge per poder treballar únicament amb la mà, en la detecció dels contorns, per després obtenir l’envolupant convexa i els defectes convexos, que finalment han de servir per determinar el nombre de dits i concloure en la interpretació del gest; el resultat final és la transcripció del seu significat en una finestra que serveix d’interfície amb l’interlocutor. L’aplicació permet reconèixer els números del 0 al 5, ja que s’analitza únicament una mà, alguns gestos populars i algunes de les lletres de l’alfabet dactilològic de la llengua de signes catalana. El projecte és doncs, la porta d’entrada al camp del reconeixement de gestos i la base d’un futur sistema de reconeixement de la llengua de signes capaç de transcriure tant els signes dinàmics com l’alfabet dactilològic.

Évaluation des jeux Kinect à l’aide du suivi physiologique, du suivi oculaire et des réactions faciales du joueur.

Les données sont analysées par le logiciel conçu par François Courtemanche et Féthi Guerdelli. L'expérimentation des jeux a eu lieu au Laboratoire de recherche en communication multimédia de l'Université de Montréal.

Prescription software for recovery and rehabilitation using Microsoft Kinect

Brain injuries, including stroke, can be debilitating incidents with potential for severe long term effects; many people stop making significant progress once leaving in-patient medical care and are unable to fully restore their quality of life when returning home. The aim of this collaborative project, between the Royal Berkshire NHS Foundation Trust and the University of Reading, is to provide a low cost portable system that supports a patient's condition and their recovery in hospital or at home. This is done by providing engaging applications with targeted gameplay that is individually tailored to the rehabilitation of the patient's symptoms. The applications are capable of real-time data capture and analysis in order to provide information to therapists on patient progress and to further improve the personalized care that an individual can receive.

Navegação, reconhecimento de gestos e controle de interface no sistema ITV utilizando o dispositivo kinect

Esta dissertação apresenta a implementação de navegação no ambiente virtual, reconhecimento de gestos e controle de interface, feitos através do dispositivo Kinect, no Sistema ITV: um sistema de treinamento de operadores e mantenedores de usinas hidrelétricas e subestações elétricas. São mostrados, também, determinados aperfeiçoamentos recentes, como conversão em vídeo, telas de alarmes sonoros e visuais, ambientação sonora em três dimensões e narração do processo. Além da apresentação do Sistema ITV, são expostos o dispositivo Kinect e o algoritmo utilizado na comparação dos padrões de movimento, o DTW. Em seguida, são abordados em detalhes o projeto e a implementação da navegação, do reconhecimento de gestos e do controle de interface. Como estudo de caso, é exibida uma Instrução Técnica Virtual (ITV), elaborada especialmente para testar e avaliar a nova interface proposta. Posteriormente, são apresentados os resultados, considerados satisfatórios, obtidos através da análise de questionários qualitativos aplicados a estudantes da Universidade Federal do Pará. Por fim, são realizadas as considerações referentes a este trabalho e expostas idéias de trabalhos futuros.

Avaliação automatizada de uma habilidade motora fundamental com o kinect

Pós-graduação em Desenvolvimento Humano e Tecnologias - IBRC

Reconhecimento de faces 3D com Kinect

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)