Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Aspectos da tradução audiovisual: a legendagem de programas Estrangeiros como meio para uma aprendizagem incidental de línguas estrangeiras

Dissertação apresentada com vista à obtenção do grau de Mestre em Tradução e Interpretação Especializada. Instituto Superior de Contabilidade e Administração do Porto. Instituto Politécnico do Porto. (Portaria nº 602/2003 de 21 Julho) Orientadora: Mestre Joana Alexandra Teixeira Fernandes Co-orientadora: Prof. Dra. Josélia Neves

Aprendizagem ao longo da vida e ensino superior: contributos para o aumento da participação dos estudantes adultos não tradicionais

Com a globalização da concorrência, a aceleração das mutações tecnológicas e os desafios colocados pelo aumento de produtividade e competitividade assentes no conhecimento, entende-se facilmente o apelo à intensificação e ao alargamento da participação dos cidadãos em actividades de aprendizagem ao longo da vida (ALV), tendo em vista responder às preocupações decorrentes do mercado de trabalho em contínua evolução. Essas novas oportunidades educativas devem estar disponíveis, não apenas para os jovens com possibilidade de seguirem uma formação dita convencional, mas para todos aqueles a quem as circunstâncias da vida não permitiram frequentar o sistema formal de ensino. As instituições de ensino superior (IES) desempenham um papel crucial nesta preparação dos cidadãos para a vida. Nelas, os candidatos poderão ter a oportunidade para desenvolverem competências novas e até aperfeiçoarem as que já possuem com vista a responderem aos desafios decorrentes das alterações demográficas, efeitos da globalização e até da reestruturação económica a nível mundial (Green, 2002). Como se refere no documento O Papel das Universidades na Europa do Conhecimento (Comissão..., 2003:7) as IES deverão contribuir para colmatar as lacunas de educação e formação. Estas incluem “necessidade de educação científica e técnica, a aquisição de competências transversais e a possibilidade de aprendizagem ao longo da vida”. Relativamente ao crescimento da procura do Ensino Superior (ES), a mesma surge, em larga medida, em resultado da dupla pressão exercida pelo objectivo fixado nalguns países, de aumentar o número de estudantes neste nível de ensino e pelas novas exigências ligadas à educação e formação ao longo da vida1 (Comissão…, 2003:6). Neste contributo sobre a promoção da ALV no ES, numa primeira parte, define-se, ainda que de forma muito breve, o que se entende por ALV, refere-se o papel do ES neste tipo de aprendizagem e caracterizam-se estudantes adultos não tradicionais (EANT). Na segunda parte do contributo, apresentam-se sugestões concretas para ajudar a promover a ALV, em particular a conferente de qualificações profissionais CITE de nível 5 e 6, junto de EANT.

Os estudantes adultos não tradicionais e a aprendizagem no Ensino Superior: linhas orientadoras para uma melhor integração destes novos públicos

Artigo submetido à 6ª Conferência da Associação Portuguesa de Sistemas de Informação, 26-28 Outubro, ESTG, Bragança

LIHE – Learning in Higher Education – Contributo para a melhoria do ambiente e daexperiência de aprendizagem de estudantes adultos no Ensino Superior – o Caso Português

Artigo apresentado no V Congresso deGaliza e Norte de Portugal de Formação para o Trabalho – “Necessidades de Formação e Desenho Curricular por Competências”, Universidade de Compostela, 27-29 Novembro de 2003

E-partilha: desenvolvimento e utilização de um repositório de objectos de aprendizagem

Nos novos ambientes de aprendizagem, construídos a partir das tecnologias digitais, a necessidade de promover a qualidade dos recursos educativos, normalmente designados por Learning Objects, que podem suportar a aprendizagem à distância, formal e informal, emerge como um dos grandes desafios que as instituições de ensino têm de enfrentar. Sendo dispendiosos, a reutilização e a partilha tornam-se, assim, uma necessidade premente. Este artigo apresenta um Learning Object Repository que tem como objectivo armazenar, disseminar e manter acessíveis Learning Objects.

Fernão, mentes? – Sinto!: ecos d'a peregrinação na viagem como aprendizagem em Richard Zimler

12-15 abril 2011 no IPM

Ensino e aprendizagem da Bioquímica em Ciências da Saúde: retenção de conhecimentos adquiridos e sucesso académico versus tipo de exame preferido, sua preparação e stress associado

Num contexto de reestruturação da formação em Ciências da Saúde baseada em competências, torna-se necessário estudar as diferentes formas de avaliação e o stress que lhe está associado, observando de que forma estas poderão interferir no sucesso académico dos alunos e real aquisição de competências. O objectivo do trabalho foi avaliar estas questões no âmbito da Bioquímica de diferentes cursos de Tecnologias da Saúde. A metodologia foi adaptada de controlled pre-test-postest, e os resultados obtidos apontam para que os alunos que mais estudam, ao longo do ano e não no “sprint final”, parecem possuir menor stress e serem melhor sucedidos.

PEAPE - Portal de Ensino e Aprendizagem do Projecto Electrotécnico

As Tecnologias da Informação e Comunicação (TIC) permitem novas estratégias de difusão da informação e novos modelos de comunicação, com a proposta de modificar as atitudes e o comportamento humano em relação à Educação. Actualmente a WEB é fundamental como meio de comunicação e partilha de informação. Ao ensino será exigido a utilização de TIC, suportadas na Web, para estabelecer a comunicação professor-aluno e aluno-aluno, para divulgação de conteúdos das unidades curriculares, e mesmo como meio de ensino/aprendizagem. O Portal de Ensino e Aprendizagem do Projecto Electrotécnico (PEAPE) pretende ser uma ferramenta de apoio ao ensino/aprendizagem, de unidades curriculares no Âmbito do projecto electrotécnico.

Uso das tecnologias de informação e comunicação no ensino – portal de ensino aprendizagem do projecto electrotécnico

As Tecnologias da Informação e Comunicação (TIC) permitem novas estratégias de difusão da informação e novos modelos de comunicação, com a proposta de modificar as atitudes e o comportamento humano em relação à Educação. Actualmente a internet é fundamental como meio de comunicação e partilha de informação. Ao ensino será exigido a utilização de TIC, suportadas na internet, para estabelecer a comunicação professor-aluno e aluno-aluno, para divulgação de conteúdos das unidades curriculares, e mesmo como meio de ensino/aprendizagem. O Portal de Ensino e Aprendizagem do Projecto Electrotécnico (PEAPE) pretende ser uma ferramenta de apoio ao ensino/aprendizagem, de unidades curriculares no Âmbito do projecto electrotécnico.

Fisiopatologia da emese - proposta de construção de um objecto de aprendizagem

Introdução: Os Objetos de Aprendizagem (OA) têm sido alvo de discussão devido ao seu interesse pedagógico nomeadamente nas ciências da saúde, pois permite uma dimensão maior em relação à educação e ao acesso a informação credível, certificada e interativa à distancia. Os OA podem tem como base de estudo, um caso clinico, um jogo ou até mesmo servir de apoio a outras actividades, que levem o estudante a interagir com outras ferramentas aumentando assim a sua capacidade de síntese, planeamento e critica. Com este trabalho pretende-se traçar os passos iniciais necessários para o desenvolvimento do OA. Métodos: O trabalho iniciou-se com uma revisão bibliográfica sobre a fisiopatologia e tratamento emese sustentados em manuais de referência, artigos científicos e guidelines de forma a estabelecer uma base teórica. Para a construção do OA seguiu-se a proposta de Jesus, Gomes e Cruz (2012). Apresentação de Resultados e Discussão: Obteve-se um referencial teórico baseado na evidência que caracteriza 4 tipos de emese: associada ao movimento; associada à gravidez; associada a medicamentos antineoplásicos e a contexto pós-operatório. O desenvolvimento do OA, foi constituído por fases, ou seja, fase de análise que teve em consideração o contexto em que se processa a instrução, as características gerais dos estudantes, as necessidades de instrução, e-conteúdos e informação base para a construção do OA. Seguiu-se a fase de desenho instrucional do OA, que utilizou os resultados obtidos na fase anterior para planear e desenvolver as atividades. Esta fase tem em consideração a estrutura hierárquica de sequenciação dos conteúdos, estratégias de instrução e metodologias de avaliação. Finalmente, para a construção do protótipo foi utilizada a ferramenta de autor XERTE. Considerações Finais e Perspectivas Futuras: A construção deste OA representa mais um passo para a investigação alargada para a produção e implementação de OA no ensino da Farmacologia e da Terapêutica. Pretende-se agora que o OA seja sujeito a testes de compatibilidade com diferentes LMS e também seja alvo de um processo de avaliação por profissionais e alunos.

Interfaces inovadores para a aprendizagem musical

Mestrado em Engenharia Informática

Aspectos de aprendizagem em optimização

A optimização e a aprendizagem em Sistemas Multi-Agente são consideradas duas áreas promissoras mas relativamente pouco exploradas. A optimização nestes ambientes deve ser capaz de lidar com o dinamismo. Os agentes podem alterar o seu comportamento baseando-se em aprendizagem recente ou em objectivos de optimização. As estratégias de aprendizagem podem melhorar o desempenho do sistema, dotando os agentes da capacidade de aprender, por exemplo, qual a técnica de optimização é mais adequada para a resolução de uma classe particular de problemas, ou qual a parametrização é mais adequada em determinado cenário. Nesta dissertação são estudadas algumas técnicas de resolução de problemas de Optimização Combinatória, sobretudo as Meta-heurísticas, e é efectuada uma revisão do estado da arte de Aprendizagem em Sistemas Multi-Agente. É também proposto um módulo de aprendizagem para a resolução de novos problemas de escalonamento, com base em experiência anterior. O módulo de Auto-Optimização desenvolvido, inspirado na Computação Autónoma, permite ao sistema a selecção automática da Meta-heurística a usar no processo de optimização, assim como a respectiva parametrização. Para tal, recorreu-se à utilização de Raciocínio baseado em Casos de modo que o sistema resultante seja capaz de aprender com a experiência adquirida na resolução de problemas similares. Dos resultados obtidos é possível concluir da vantagem da sua utilização e respectiva capacidade de adaptação a novos e eventuais cenários.

Adaptive learning in agents behaviour: a framework for electricity markets simulation

Electricity markets are complex environments with very particular characteristics. A critical issue regarding these specific characteristics concerns the constant changes they are subject to. This is a result of the electricity markets’ restructuring, which was performed so that the competitiveness could be increased, but it also had exponential implications in the increase of the complexity and unpredictability in those markets scope. The constant growth in markets unpredictability resulted in an amplified need for market intervenient entities in foreseeing market behaviour. The need for understanding the market mechanisms and how the involved players’ interaction affects the outcomes of the markets, contributed to the growth of usage of simulation tools. Multi-agent based software is particularly well fitted to analyze dynamic and adaptive systems with complex interactions among its constituents, such as electricity markets. This dissertation presents ALBidS – Adaptive Learning strategic Bidding System, a multiagent system created to provide decision support to market negotiating players. This system is integrated with the MASCEM electricity market simulator, so that its advantage in supporting a market player can be tested using cases based on real markets’ data. ALBidS considers several different methodologies based on very distinct approaches, to provide alternative suggestions of which are the best actions for the supported player to perform. The approach chosen as the players’ actual action is selected by the employment of reinforcement learning algorithms, which for each different situation, simulation circumstances and context, decides which proposed action is the one with higher possibility of achieving the most success. Some of the considered approaches are supported by a mechanism that creates profiles of competitor players. These profiles are built accordingly to their observed past actions and reactions when faced with specific situations, such as success and failure. The system’s context awareness and simulation circumstances analysis, both in terms of results performance and execution time adaptation, are complementary mechanisms, which endow ALBidS with further adaptation and learning capabilities.