Projecto de avaliação de interfaces – PAI

Para obtenção do grau de Doutor pela Universidade de Vigo com menção internacional Departamento de Informática

Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Demonstração dos resultados dos projetos ALFA LEAL e RexNet

O presente artigo descreve o âmbito, objetivos, atividades e resultados obtidos nos projetos LEAL e RexNet, fi nanciados pelo programa América Latina – Formação Acadêmica (ALFA), da Comissão Européia (CE). O aspecto mais relevante consistiu na realização de atividades conjuntas que permitiram estabelecer e fortalecer laços de cooperação entre as duas redes, cada uma constituída por mais de dez Instituições de Ensino Superior (IES) da Europa e da América Latina. É de realçar ainda a realização de um workshop conjunto integrado na Conferência Internacional em Aprendizagem Interativa e Combinada Auxiliada por Computador (ICBL’07) que decorreu em Florianópolis, Santa Catarina, Brasil, em Maio de 2007, sob a organização do CEFET/SC.

Sistema avançado de previsão de vendas para as lojas Pingo Doce do grupo Jerónimo Martins

Dissertação apresentada ao Instituto Politécnico do Porto para obtenção do Grau de Mestre em Logística Orientada por: Professora Doutora Patrícia Alexandra Gregório Ramos

SketchyDynamics apoio à produção de sistemas baseados em interfaces caligráficas para a simulação da dinâmica de corpos rígidos

Mestrado em Engenharia Informática - Área de Especialização em Sistemas Gráficos e Multimédia

Aparato para experimentação remota do lançamento de projéteis

Num sistema de ensino cada vez mais exigente, a experimentação assume um papel fundamental na aquisição e validação do conhecimento. No ensino da Física, a necessidade de compreender a influência do meio num dado conceito teórico leva a que a experimentação tenha um carácter obrigatório. Neste contexto, surgem três cenários capazes de suportar a aprendizagem dos conceitos teóricos adquiridos. A simulação que faz uso da velocidade e capacidades de cálculo do computador para obter o resultado de uma experiência, a experimentação tradicional em laboratório, na qual o aluno executa, presencialmente, a sua experiência e por último a experimentação remota, que permite a execução de uma experiência real sem a presença física do aluno. Esta dissertação apresenta o projeto de um aparato para experimentação remota do “Lançamento de projéteis”. De forma a providenciar um meio de ensino de Física mais flexível, o aparato desenvolvido permite, aos alunos, a determinação da aceleração da gravidade e o estudo da dependência do movimento de um projétil num conjunto de parâmetros. Este aparato, operado remotamente, é acedido via web, onde primeiramente é reservado um intervalo de tempo. O conjunto de parâmetros (“Bola”, “Altura de lançamento” e “Ângulo de lançamento”) da máquina permite suportar vários cenários de ensino da Física, com diferentes complexidades.

Controlo de um robô autónomo através de redes neuronais

Neste trabalho pretende-se introduzir os conceitos associados às redes neuronais e a sua aplicação no controlo de sistemas, neste caso na área da robótica autónoma. Foi utilizado um AGV de modo a testar experimentalmente um controlo através de uma rede neuronal artificial. A grande vantagem das redes neuronais artificiais é estas poderem ser ensinadas a funcionarem como se pretende. A partir desta caraterística foram efetuadas duas abordagens na implementação do AGV disponibilizado. A primeira abordagem ensinava a rede neuronal a funcionar como o controlo por lógica difusa que foi implementado no AGV aquando do seu desenvolvimento. A segunda abordagem foi ensinar a rede neuronal artificial a funcionar a partir de dados retirados de um controlo remoto simples implementado no AGV. Ambas as abordagens foram inicialmente implementadas e simuladas no MATLAB, antes de se efetuar a sua implementação no AGV. O MATLAB é utilizado para efetuar o treino das redes neuronais multicamada proactivas através do algoritmo de treino por retropropagação de Levenberg-Marquardt. A implementação de uma rede neuronal artificial na primeira abordagem foi implementada em três fases, MATLAB, posteriormente linguagem de programação C no computador e por fim, microcontrolador PIC no AGV, permitindo assim diferenciar o desenvolvimento destas técnicas em várias plataformas. Durante o desenvolvimento da segunda abordagem foi desenvolvido uma aplicação Android que permite monitorizar e controlar o AGV remotamente. Os resultados obtidos pela implementação da rede neuronal a partir do controlo difuso e do controlo remoto foram satisfatórios, pois o AGV percorria os percursos testados corretamente, em ambos os casos. Por fim concluiu-se que é viável a aplicação das redes neuronais no controlo de um AGV. Mais ainda, é possível utilizar o sistema desenvolvido para implementar e testar novas RNA.

Resultados preliminares de um estudo sobre tradução audiovisual infanto-juvenil: o caso da dobragem em Portugal

Nos últimos anos, o volume de produções audiovisuais aumentou exponencialmente graças ao desenvolvimento das novas tecnologias e à omnipresença dos mass media à escala global. No que concerne o público infanto- juvenil, o consumo massivo de produtos audiovisuais contribuiu para a construção de um novo tipo de espectador mais familiarizado com a imagem/palavra em movimento, seja no ecrã da televisão ou do computador. Com este artigo, pretendo partilhar os resultados preliminares de um estudo exploratório sobre o impacto da dobragem em Portugal no público infanto- juvenil enquanto consumidores/receptores deste tipo de tradução interlinguística. Considerando que a oferta televisiva é condicionante do tipo de consumo de produtos audiovisuais traduzidos é crucial compreender de que modo esta conjuntura poderá vir a criar públicos mais receptivos à dobragem num futuro próximo.

A interação das marcas com o público através do Facebook: o mercado dos smartphones e as marcas Samsung e Apple

Dissertação de Mestrado apresentado ao Instituto de Contabilidade e Administração do Porto para a obtenção do grau de Mestre em Marketing Digital sob orientação de Sandrina Teixeira Anabela Ribeiro

Análise de Desempenho e Recomendação para Soluções IVR

Mestrado em Engenharia Informática, Área de Especialização em Tecnologias do Conhecimento e da Decisão

Utilização do Kinect no apoio ao ensino/ aprendizagem dos fundamentos da Matemática

A interação humano-computador passou a desempenhar um papel fundamental no mundo atual. Esta forma de comunicar continua a evoluir, introduzindo novas formas de interação, como por exemplo, a interação natural. Este estilo de interação começou por estar presente na área de jogos. No entanto, atualmente está a ser explorada noutras áreas. Esta dissertação tem como propósito investigar a utilidade das interfaces naturais encontradas em consolas de jogos e conjugar com a área educativa, nomeadamente, o ensino e a aprendizagem dos fundamentos de Matemática. O desenvolvimento deste projeto baseou-se no estudo dos conteúdos programáticos de Matemática referentes ao 1º ciclo do ensino básico, de várias aplicações já existentes que estão relacionadas com o tema abordado e de alguns dispositivos de interação natural. De forma a avaliar a ideia proposta, foi desenvolvido um protótipo, designado Matemática Interativa, no sentido de permitir ao utilizador enriquecer a aprendizagem e também o interesse pela disciplina. São descritas, de uma forma mais aprofundada, as funcionalidades do dispositivo escolhido, o Kinect, de modo a tirar proveito das suas potencialidades e desenvolver um motor de reconhecimento de gestos e respetiva avaliação. Por fim, é feita uma discussão dos resultados de uma avaliação de usabilidade com o objetivo de validar a aplicação Matemática Interativa. Os resultados desta avaliação sugerem que a aplicação foi bem-sucedida e revelam ainda capacidades de melhoria.

Using data mining techniques to support breast cancer diagnosis

More than ever, there is an increase of the number of decision support methods and computer aided diagnostic systems applied to various areas of medicine. In breast cancer research, many works have been done in order to reduce false-positives when used as a double reading method. In this study, we aimed to present a set of data mining techniques that were applied to approach a decision support system in the area of breast cancer diagnosis. This method is geared to assist clinical practice in identifying mammographic findings such as microcalcifications, masses and even normal tissues, in order to avoid misdiagnosis. In this work a reliable database was used, with 410 images from about 115 patients, containing previous reviews performed by radiologists as microcalcifications, masses and also normal tissue findings. Throughout this work, two feature extraction techniques were used: the gray level co-occurrence matrix and the gray level run length matrix. For classification purposes, we considered various scenarios according to different distinct patterns of injuries and several classifiers in order to distinguish the best performance in each case described. The many classifiers used were Naïve Bayes, Support Vector Machines, k-nearest Neighbors and Decision Trees (J48 and Random Forests). The results in distinguishing mammographic findings revealed great percentages of PPV and very good accuracy values. Furthermore, it also presented other related results of classification of breast density and BI-RADS® scale. The best predictive method found for all tested groups was the Random Forest classifier, and the best performance has been achieved through the distinction of microcalcifications. The conclusions based on the several tested scenarios represent a new perspective in breast cancer diagnosis using data mining techniques.

Video-­‐monitorization system for a realistic driving simulator

Nos últimos anos, o ISEP em colaboração com a FEUP e outras Universidades, criou um simulador realista de condução chamado DRIS, que tem como objectivo ajudar em trabalhos de investigação de diferentes áreas, como engenharia civil, computação gráfica, psicologia, educação, etc. O resultado deste trabalho pretende ajudar os profissionais a analisarem os dados recolhidos em cada experiência de condução, a fim de permitir o estudo das reações do motorista em diferentes obstáculos durante um percurso. O simulador DRIS é constituído por uma tela branca, onde os ambientes de simulação são projetados; um carro real, onde é feita a experiência de condução e quatro câmaras colocadas no carro. Destas quatro câmaras, três estão dentro do carro e uma fora do carro. Cada câmara está focada estrategicamente, em partes críticas da condução: a estrada, o motorista, os pedais e os controles (mudança de marcha, volante, os comandos do limpador, etc). Cada uma das câmaras grava um vídeo, que é guardado em um computador colocado em uma das salas de controlo, dentro do Laboratório de Análise de Tráfego na FEUP. Além disso, um arquivo de texto é guardado no mesmo computador. Este arquivo de texto contém algumas informações sobre a experiência do motorista, como as coordenadas do carro, a velocidade do carro, o tempo, etc O trabalho desta Tese surge com a finalidade de melhorar a forma de os profissionais analisar e interpretar os dados recolhidos a partir de uma experiência de condução no DRIS. Para o efeito, foi criado um sistema de vídeo-­‐monitorização, que consiste em uma aplicação de vídeo, que permite a visualização de quatro vídeos simultaneamente, e ler um arquivo de texto, que contém todos os dados recolhidos na experiência. Ambos (vídeo e texto) têm de estar sincronizados com o mesmo tempo de forma a permitir ao utilizador, navegar backward e forward com a ajuda de um cursor. Além disso, como qualquer reprodutor de vídeo básico, contém alguns botões para controlar o status do vídeo (Play, Stop, Pause) e permiti que os profissionais analisem com detalhe os dados dos quatro vídeos. Aproveitando os avanços no desenvolvimento de software, a aplicação foi feita em C++ usando a biblioteca Qt, em ambiente de desenvolvimento integrado do Qt Creator, o que tornou mais fácil a implementação. No fim deste relatório (capítulo 4) é anexado um manual do usuário, a fim de explicar e ajudar os profissionais a usar a aplicação.

Sistema de Informação no auxílio à comunicação Escola-Família

Mestrado em Engenharia Informática

Projeto Alternativo ao Nó de Ligação do Pópulo

O presente trabalho visa, o estudo e a elaboração de um projeto de execução de um Nó de Ligação em trevo completo. O projeto requer um estudo cuidado da geometria das estradas principais existentes, das características do terreno e de todas as restantes condicionantes que se impõe à realização do mesmo. Esta fase do projeto é decisiva para o desenvolvimento e o sucesso do projeto, nos diversos aspetos técnicos, económicos e ambientais relacionados. Após o enquadramento do nó de ligação em trevo no terreno, procedeu-se à localização dos quatro ramos de ligação direta, ao seu traçado geométrico e as ligações às estradas principais. Seguidamente, realizou-se o traçado de todos os restabelecimentos necessários para a circulação nas vias pré-existentes e o seu acesso ao nó. Este trabalho foi realizado aplicando todos os conhecimentos adquiridos na Licenciatura em Engenharia Civil e no Mestrado em Engenharia Civil no Ramo das Infraestruturas e Ambiente no ISEP, com especial importância em Vias de Comunicação e Infraestruturas de Transportes. Todos os procedimentos de definição geométrica e analítica do nó de ligação em trevo foram realizados recorrendo ao programa para computador “AutoCAD Civil 2013”.