Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de intera����o homem-m��quina, o reconhecimento de gestos implica uma forte componente de investiga����o em ��reas como a vis��o por computador e a aprendizagem computacional. O reconhecimento gestual �� uma ��rea com aplica����es muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utiliza����o de dispositivos extras. Assim, o objectivo principal da investiga����o na ��rea de reconhecimento de gestos aplicada �� interac����o homemm��quina �� o da cria����o de sistemas, que possam identificar gestos espec��ficos e us��los para transmitir informa����es ou para controlar dispositivos. Para isso as interfaces baseados em vis��o para o reconhecimento de gestos, necessitam de detectar a m��o de forma r��pida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em vis��o s��o capazes de trabalhar com solu����es espec��ficas, constru��dos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investiga����o estudou e implementou solu����es, suficientemente gen��ricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplica����o num conjunto alargado de sistemas de interface homem-m��quina, para reconhecimento de gestos em tempo real. A solu����o proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos est��ticos e din��micos e que pode ser facilmente integrado e configurado para ser utilizado numa s��rie de aplica����es. �� um sistema de baixo custo e f��cil de treinar e usar, e uma vez que �� constru��do unicamente com bibliotecas de c��digo. As experi��ncias realizadas permitiram mostrar que o sistema atingiu uma precis��o de 99,2% em termos de reconhecimento de gestos est��ticos e uma precis��o m��dia de 93,7% em termos de reconhecimento de gestos din��micos. Para validar a solu����o proposta, foram implementados dois sistemas completos. O primeiro �� um sistema em tempo real capaz de ajudar um ��rbitro a arbitrar um jogo de futebol rob��tico. A solu����o proposta combina um sistema de reconhecimento de gestos baseada em vis��o com a defini����o de uma linguagem formal, o CommLang Referee, �� qual demos a designa����o de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos est��ticos e din��micos executados pelo ��rbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informa����o para os rob��s. O segundo �� um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experi��ncias demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fi��vel. Embora a solu����o implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema �� facilmente extens��vel para reconhecer o resto do alfabeto. As experi��ncias tamb��m permitiram mostrar que a base dos sistemas de intera����o baseados em vis��o pode ser a mesma para todas as aplica����es e, deste modo facilitar a sua implementa����o. A solu����o proposta tem ainda a vantagem de ser suficientemente gen��rica e uma base s��lida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplica����o de interface homem-m��quina. A linguagem formal de defini����o da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solu����o final.

Utiliza����o do Kinect no apoio ao ensino/ aprendizagem dos fundamentos da Matem��tica

A intera����o humano-computador passou a desempenhar um papel fundamental no mundo atual. Esta forma de comunicar continua a evoluir, introduzindo novas formas de intera����o, como por exemplo, a intera����o natural. Este estilo de intera����o come��ou por estar presente na ��rea de jogos. No entanto, atualmente est�� a ser explorada noutras ��reas. Esta disserta����o tem como prop��sito investigar a utilidade das interfaces naturais encontradas em consolas de jogos e conjugar com a ��rea educativa, nomeadamente, o ensino e a aprendizagem dos fundamentos de Matem��tica. O desenvolvimento deste projeto baseou-se no estudo dos conte��dos program��ticos de Matem��tica referentes ao 1�� ciclo do ensino b��sico, de v��rias aplica����es j�� existentes que est��o relacionadas com o tema abordado e de alguns dispositivos de intera����o natural. De forma a avaliar a ideia proposta, foi desenvolvido um prot��tipo, designado Matem��tica Interativa, no sentido de permitir ao utilizador enriquecer a aprendizagem e tamb��m o interesse pela disciplina. S��o descritas, de uma forma mais aprofundada, as funcionalidades do dispositivo escolhido, o Kinect, de modo a tirar proveito das suas potencialidades e desenvolver um motor de reconhecimento de gestos e respetiva avalia����o. Por fim, �� feita uma discuss��o dos resultados de uma avalia����o de usabilidade com o objetivo de validar a aplica����o Matem��tica Interativa. Os resultados desta avalia����o sugerem que a aplica����o foi bem-sucedida e revelam ainda capacidades de melhoria.

Factores que influenciam o cumprimento das recomenda����es da C.M.V.M. sobre o governo das sociedades cotadas em Portugal

Orientadora: Prof.�� Mestre Alcina Augusta Sena Portugal Dias

N.C.R.F. 3: adop����o pela primeira vez das Normas Contabil��sticas e de Relato Financeiro

Disserta����o para obten����o do Grau de Mestre em Auditoria

Identifica����o de compostos que modulam a patog��nese da doen��a de Machado-Joseph em C.elegans: autofagia como alvo terap��utico: identification of small compounds that modulate pathogenesis of Machado-Joseph disease in a C.elegans model: targeting autophagy

A doen��a de Machado-Joseph (DMJ) ou ataxia espinocerebelosa do tipo 3 (SCA3), conhecida por ser a mais comum das ataxias heredit��rias dominantes em todo o mundo, �� uma doen��a neurodegenerativa autoss��mica dominante que leva a uma grande incapacidade motora, embora sem alterar o intelecto, culminando com a morte do doente. Atualmente n��o existe nenhum tratamento eficaz para esta doen��a. A DMJ �� resultado de uma altera����o gen��tica causada pela expans��o de uma sequ��ncia poliglutam��nica (poliQ), na regi��o C-terminal do gene que codifica a prote��na ataxina-3 (ATXN3). Os mecanismos celulares das doen��as de poliglutaminas que provocam toxicidade, bem como a fun����o da ATXN3, n��o s��o ainda totalmente conhecidos. Neste trabalho, usamos, pela sua simplicidade e potencial gen��tico, um pequeno animal invertebrado, o nem��tode C. elegans, com o objetivo de identificar f��rmacos eficazes para o combate contra a patog��nese da DMJ, analisando simultaneamente o seu efeito na agrega����o da ATXN3 mutante nas c��lulas neuronais in vivo e o seu impacto no comportamento motor dos animais. Este pequeno invertebrado proporciona grandes vantagens no estudo dos efeitos t��xicos de prote��nas poliQ nos neur��nios, uma vez que a transpar��ncia das suas 959 c��lulas (das quais 302 s��o neur��nios) facilita a dete����o de prote��nas fluorescentes in vivo. Para al��m disso, esta esp��cie tem um ciclo de vida curto, �� econ��mica e de f��cil manuten����o. Neste trabalho test��mos no nosso modelo transg��nico da DMJ com 130Qs em C.elegans dois compostos potencialmente moduladores da agrega����o da ATXN3 mutante e da resultante disfun����o neurol��gica, atuando pela via da autofagia. De modo a validar a poss��vel import��ncia terap��utica da ativa����o da autofagia os compostos candidatos escolhidos foram o Lit��o e o an��logo da Rapamicina CCI-779, testados independentemente e em combina����o. A neuroprote����o conferida pelo Lit��o e pelo CCI-779 independentemente sugere que o uso destes f��rmacos possa ser considerado uma boa estrat��gia como terapia para a DMJ, a testar em organismos evolutivamente mais pr��ximos do humano. A manipula����o da autofagia, segundo v��rios autores, parece ser ben��fica e pode ser a chave para o desenvolvimento de novos tratamentos para v��rias doen��as relacionadas com a agrega����o proteica e o envelhecimento.

Compara����o entre os valores de Procalcitonina e Prote��na C reactiva em adultos com doen��a hemato-oncol��gica

Os pacientes com doen��a hemato-oncol��gica submetidos a quimioterapia possuem maior propens��o para infec����es bacterianas. O seu diagn��stico pode ser efectuado recorrendo-se aos marcadores biol��gicos: procalcitonina (PCT) e prote��na C reactiva (PCR). Neste estudo, observaram-se diferen��as estatisticamente significativas na concentra����o de PCT nos diferentes grupos de infec����o, o que n��o se verificou na concentra����o de PCR. Observou-se ainda uma fraca correla����o entre estes marcadores nos grupos de infec����o. Apenas os valores de PCT est��o directamente relacionados com a gravidade da infec����o, evidenciando-o como um bom marcador de diagn��stico, mais eficaz do que a PCR.

A promo����o/progress��o em 2008 de Assistente do 1�� tri��nio a Assistente do 2�� tri��nio (ECPDESP) e a aplicabilidade ou n��o das Leis n��s 43/2005, de 29.08 e 53-C/2006, de 29.12

Trabalho de natureza profissional para a atribui����o do T��tulo de Especialista do Instituto Polit��cnico do Porto, na ��rea de Direito, defendido a 11-01-2013.

Sistema de vis��o para percep����o e navega����o de um UAV Quadrotor

Mestrado em Engenharia Electrot��cnica e de Computadores

Sistema de percep����o visual para ve��culos aut��nomos a��reos

Esta disserta����o aborda o problema de detec����o e desvio de obst��culos "SAA- Sense And Avoid" em movimento para ve��culos a��reos. Em particular apresenta contribui����es tendo em vista a obten����o de solu����es para permitir a utiliza����o de aeronaves n��o tripuladas em espa��o a��reo n��o segregado e para aplica����es civis. Estas contribui����es caracterizam-se por: uma an��lise do problema de SAA em \UAV's - Unmmaned Aerial Vehicles\ civis; a defini����o do conceito e metodologia para o projecto deste tipo de sistemas; uma proposta de \ben- chmarking\ para o sistema SAA caracterizando um conjunto de "datasets\ adequados para a valida����o de m��todos de detec����o; respectiva valida����o experimental do processo e obten����o de "datasets"; a an��lise do estado da arte para a detec����o de \Dim point features\ ; o projecto de uma arquitectura para uma solu����o de SAA incorporando a integra����o de compensa����o de \ego motion" e respectiva valida����o para um "dataset" recolhido. Tendo em vista a an��lise comparativa de diferentes m��todos bem como a valida����o de solu����es foi proposta a recolha de um conjunto de \datasets" de informa����o sensorial e de navega����o. Para os mesmos foram definidos um conjunto de experi��ncias e cen��rios experimentais. Foi projectado e implementado um setup experimental para a recolha dos \datasets" e realizadas experi��ncias de recolha recorrendo a aeronaves tripuladas. O setup desenvolvido incorpora um sistema inercial de alta precis��o, duas c��maras digitais sincronizadas (possibilitando an��lise de informa forma����o stereo) e um receptor GPS. As aeronaves alvo transportam um receptor GPS com logger incorporado permitindo a correla����o espacial dos resultados de detec����o. Com este sistema foram recolhidos dados referentes a cen��rios de aproxima����o com diferentes traject��rias e condi����es ambientais bem como incorporando movimento do dispositivo detector. O m��todo proposto foi validado para os datasets recolhidos tendo-se verificado, numa an��lise preliminar, a detec����o do obst��culo (avi��o ultraleve) em todas as frames para uma dist��ncia inferior a 3 km com taxas de sucesso na ordem dos 95% para dist��ncias entre os 3 e os 4 km. Os resultados apresentados permitem validar a arquitectura proposta para a solu����o do problema de SAA em ve��culos a��reos aut��nomos e abrem perspectivas muito promissoras para desenvolvimento futuro com forte impacto t��cnico-cient��fico bem como s��cio-economico. A incorpora����o de informa forma����o de \ego motion" permite fornecer um forte incremento em termos de desempenho.

Pose Estimation using a C-Arm Fluoroscope

Os m��todos cl��nicos que s��o realizados com recurso a tecnologias de imagiologia t��m registado um aumento de popularidade nas ��ltimas duas d��cadas. Os procedimentos tradicionais usados em cirurgia t��m sido substitu��dos por m��todos minimamente invasivos de forma a conseguir diminuir os custos associados e aperfei��oar factores relacionados com a produtividade. Procedimentos cl��nicos modernos como a broncoscopia e a cardiologia s��o caracterizados por se focarem na minimiza����o de ac����es invasivas, com os arcos em ���C��� a adoptarem um papel relevante nesta ��rea. Apesar de o arco em ���C��� ser uma tecnologia amplamente utilizada no aux��lio da navega����o em interven����es minimamente invasivas, este falha na qualidade da informa����o fornecida ao cirurgi��o. A informa����o obtida em duas dimens��es n��o �� suficiente para proporcionar uma compreens��o total da localiza����o tridimensional da regi��o de interesse, revelando-se como uma tarefa essencial o estabelecimento de um m��todo que permita a aquisi����o de informa����o tridimensional. O primeiro passo para alcan��ar este objectivo foi dado ao definir um m��todo que permite a estimativa da posi����o e orienta����o de um objecto em rela����o ao arco em ���C���. De forma a realizar os testes com o arco em ���C���, a geometria deste teve que ser inicialmente definida e a calibra����o do sistema feita. O trabalho desenvolvido e apresentado nesta tese foca-se num m��todo que provou ser suficientemente sustent��vel e eficiente para se estabelecer como um ponto de partida no caminho para alcan��ar o objectivo principal: o desenvolvimento de uma t��cnica que permita o aperfei��oamento da qualidade da informa����o adquirida com o arco em ���C��� durante uma interven����o cl��nica.

Interface caligr��fica de escrita no ar

Na atualidade, est�� a emergir um novo paradigma de intera����o, designado por Natural User Interface (NUI) para reconhecimento de gestos produzidos com o corpo do utilizador. O dispositivo de intera����o Microsoft Kinect foi inicialmente concebido para controlo de videojogos, para a consola Xbox360. Este dispositivo demonstra ser uma aposta vi��vel para explorar outras ��reas, como a do apoio ao processo de ensino e de aprendizagem para crian��as do ensino b��sico. O prot��tipo desenvolvido visa definir um modo de intera����o baseado no desenho de letras no ar, e realizar a interpreta����o dos s��mbolos desenhados, usando os reconhecedores de padr��es Kernel Discriminant Analysis (KDA), Support Vector Machines (SVM) e $N. O desenvolvimento deste projeto baseou-se no estudo dos diferentes dispositivos NUI dispon��veis no mercado, bibliotecas de desenvolvimento NUI para este tipo de dispositivos e algoritmos de reconhecimento de padr��es. Com base nos dois elementos iniciais, foi poss��vel obter uma vis��o mais concreta de qual o hardware e software dispon��veis indicados �� persecu����o do objetivo pretendido. O reconhecimento de padr��es constitui um tema bastante extenso e complexo, de modo que foi necess��ria a sele����o de um conjunto limitado deste tipo de algoritmos, realizando os respetivos testes por forma a determinar qual o que melhor se adequava ao objetivo pretendido. Aplicando as mesmas condi����es aos tr��s algoritmos de reconhecimento de padr��es permitiu avaliar as suas capacidades e determinar o $N como o que apresentou maior efic��cia no reconhecimento. Por ��ltimo, tentou-se averiguar a viabilidade do prot��tipo desenvolvido, tendo sido testado num universo de elementos de duas faixas et��rias para determinar a capacidade de adapta����o e aprendizagem destes dois grupos. Neste estudo, constatou-se um melhor desempenho inicial ao modo de intera����o do grupo de idade mais avan��ada. Contudo, o grupo mais jovem foi revelando uma evolutiva capacidade de adapta����o a este modo de intera����o melhorando progressivamente os resultados.

Tradutor da l��ngua gestual portuguesa modelo de tradu����o bidireccional

O projeto tem como objetivo desenvolver e avaliar um modelo que facilita o acesso para pessoas surdas ou com defici��ncia auditiva, o acesso ao conte��do digital - em particular o conte��do educacional e objetos de aprendizagem ��� a cria����o de condi����es para uma maior inclus��o social de surdos e deficientes auditivos. Pretende-se criar um modelo bidirecional, em que permite a pessoas com defici��ncias auditivas, possam se comunicar com outras pessoas, com a tradu����o da L��ngua Gestual Portuguesa (LGP) para a L��ngua Portuguesa (LP) e que outras pessoas n��o portadoras de qualquer defici��ncia auditiva possam por sua vez comunicar com os surdos ou deficientes auditivos atrav��s da tradu����o da LP para a LGP. H�� um conjunto de t��cnicas que poder��amos nos apoiar para desenvolver o modelo e implementar a API de tradu����o da LGP em LP. Muitos estudos s��o feitos com base nos modelos escondidos de Markov (HMM) para efetuar o reconhecimento. Recentemente os estudos est��o a caminhar para o uso de t��cnicas como o ���Dynamic Time Warping��� (DTW), que tem tido mais sucesso do que outras t��cnicas em termos de performance e de precis��o. Neste projeto optamos por desenvolver a API e o Modelo, com base na t��cnica de aprendizagem Support Vector Machines (SVM) por ser uma t��cnica simples de implementar e com bons resultados demonstrados em reconhecimento de padr��es. Os resultados obtidos utilizando esta t��cnica de aprendizagem foram bastante ��timos, como iremos descrever no decorrer do cap��tulo 4, mesmo sabendo que utilizamos dois dispositivos para capturar dados de descri����o de cada gesto. Toda esta tese integra-se no ��mbito do projeto cient��fico/ investiga����o a decorrer no grupo de investiga����o GILT, sob a coordena����o da professora Paula Escudeiro e suportado pela Funda����o para Ci��ncia e Tecnologia (FCT).

Une langue ��trag��re, un ordinateur, une image: c'est simple comme bonjour!

Este artigo surgiu na sequ��ncia de um atelier ���Une langue ��trang��re, un ordinateur, une image: c���est simple comme bonjour!���, desenvolvido no ��mbito do XXI Congresso da Associa����o Portuguesa dos Professores de Franc��s, Images et imaginaires pour agir. Teve como prop��sito divulgar, experimentar e refletir sobre recursos digitais que podem dar um bom contributo ao processo de ensino e aprendizagem do Franc��s L��ngua Estrangeira (FLE). Evidencia-se o poder da imagem na constru����o do conhecimento, desafiando a criatividade e novos modos de ensinar a aprender. Verificou-se que os professores se interessaram pelas ferramentas digitais e evidenciaram a sua import��ncia e a sua aplicabilidade nos contextos educativos. Neste sentido, o artigo divulga ferramentas inform��ticas focadas no desenvolvimento da oralidade/leitura/escrita do franc��s l��ngua estrangeira, refere boas pr��ticas de utiliza����o em contexto de sala de aula, constituindo uma contribui����o para a renova����o da escola.