Uso de Interfaces Cérebro-computador na comunicação de pessoas com Síndrome de Encarceramento

Os avanços nas Interfaces Cérebro-máquina, resultantes dos avanços no tratamento de sinal e da inteligência artificial, estão a permitir-nos aceder à atividade cerebral, descodificá-la, e usála para comandar dispositivos, sejam eles braços artificiais ou computadores. Isto é muito mais importante quando os utilizadores são pessoas que perderam a capacidade de comunicar, embora mantenham as suas capacidades cognitivas intactas. O caso mais extremo desta situação é o das pessoas afetadas pela Síndrome de Encarceramento. Este trabalho pretende contribuir para a melhoria da qualidade de vida das pessoas afetadas por esta síndrome, disponibilizando-lhes um meio de comunicação adaptado às suas limitações. É essencialmente um estudo de usabilidade aplicada a um tipo de utilizador extremamente diminuído na sua capacidade de interação. Nesta investigação começamos por compreender a Síndrome de Encarceramento e as limitações e capacidades das pessoas afetadas por ela. Abordamos a neuroplasticidade, o que é, e em que medida é importante para a utilização das Interfaces Cérebro-máquina. Analisamos o funcionamento destas interfaces, e os fundamentos científicos que o suportam. Finalmente, com todo este conhecimento em mãos, investigamos e desenvolvemos métodos que nos permitissem otimizar as limitadas capacidades do utilizador na sua interação com o sistema, minimizando o esforço e maximizando o desempenho. Foi para o efeito desenhado e implementado um protótipo que nos permitisse validar as soluções encontradas.

Interfaces Cérebro-Computador Utilização do Emotiv EPOC para controlar software lúdico

Uma interface cérebro-computador (BCI) não é mais do que um dispositivo que lê e analisa ondas cerebrais e as converte em ações sobre um computador. Com a evolução das BCI e a possibilidade de acesso às mesmas por parte do público começou a ser possível o uso de BCIs para fins lúdicos. Nesse sentido nesta tese foi feito um estudo sobre interfaces cérebro-computador, o que são, que tipos de BCI existem, o seu uso para entretenimento, as suas limitações e o futuro deste tipo de interfaces. Foi ainda criado um software lúdico controlado por BCI (Emotiv EPOC) que é composto por um jogo tipo Pong e um reprodutor de música. O reprodutor de música através de BCI classifica e recomenda músicas ao utilizador. Com esta tese foi possível chegar à conclusão que é possível utilizar BCI para entretenimento (jogos e recomendação de conteúdos) apesar de se ter verificado que para jogos os dispositivos tradicionais de controlo (rato e teclado) ainda têm uma precisão muito superior.

Hand gesture recognition system based in computer vision and machine learning : applications on human-machine interaction

Sendo uma forma natural de interação homem-máquina, o reconhecimento de gestos implica uma forte componente de investigação em áreas como a visão por computador e a aprendizagem computacional. O reconhecimento gestual é uma área com aplicações muito diversas, fornecendo aos utilizadores uma forma mais natural e mais simples de comunicar com sistemas baseados em computador, sem a necessidade de utilização de dispositivos extras. Assim, o objectivo principal da investigação na área de reconhecimento de gestos aplicada à interacção homemmáquina é o da criação de sistemas, que possam identificar gestos específicos e usálos para transmitir informações ou para controlar dispositivos. Para isso as interfaces baseados em visão para o reconhecimento de gestos, necessitam de detectar a mão de forma rápida e robusta e de serem capazes de efetuar o reconhecimento de gestos em tempo real. Hoje em dia, os sistemas de reconhecimento de gestos baseados em visão são capazes de trabalhar com soluções específicas, construídos para resolver um determinado problema e configurados para trabalhar de uma forma particular. Este projeto de investigação estudou e implementou soluções, suficientemente genéricas, com o recurso a algoritmos de aprendizagem computacional, permitindo a sua aplicação num conjunto alargado de sistemas de interface homem-máquina, para reconhecimento de gestos em tempo real. A solução proposta, Gesture Learning Module Architecture (GeLMA), permite de forma simples definir um conjunto de comandos que pode ser baseado em gestos estáticos e dinâmicos e que pode ser facilmente integrado e configurado para ser utilizado numa série de aplicações. É um sistema de baixo custo e fácil de treinar e usar, e uma vez que é construído unicamente com bibliotecas de código. As experiências realizadas permitiram mostrar que o sistema atingiu uma precisão de 99,2% em termos de reconhecimento de gestos estáticos e uma precisão média de 93,7% em termos de reconhecimento de gestos dinâmicos. Para validar a solução proposta, foram implementados dois sistemas completos. O primeiro é um sistema em tempo real capaz de ajudar um árbitro a arbitrar um jogo de futebol robótico. A solução proposta combina um sistema de reconhecimento de gestos baseada em visão com a definição de uma linguagem formal, o CommLang Referee, à qual demos a designação de Referee Command Language Interface System (ReCLIS). O sistema identifica os comandos baseados num conjunto de gestos estáticos e dinâmicos executados pelo árbitro, sendo este posteriormente enviado para um interface de computador que transmite a respectiva informação para os robôs. O segundo é um sistema em tempo real capaz de interpretar um subconjunto da Linguagem Gestual Portuguesa. As experiências demonstraram que o sistema foi capaz de reconhecer as vogais em tempo real de forma fiável. Embora a solução implementada apenas tenha sido treinada para reconhecer as cinco vogais, o sistema é facilmente extensível para reconhecer o resto do alfabeto. As experiências também permitiram mostrar que a base dos sistemas de interação baseados em visão pode ser a mesma para todas as aplicações e, deste modo facilitar a sua implementação. A solução proposta tem ainda a vantagem de ser suficientemente genérica e uma base sólida para o desenvolvimento de sistemas baseados em reconhecimento gestual que podem ser facilmente integrados com qualquer aplicação de interface homem-máquina. A linguagem formal de definição da interface pode ser redefinida e o sistema pode ser facilmente configurado e treinado com um conjunto de gestos diferentes de forma a serem integrados na solução final.

Smart object for 3D interaction

This paper reports on the creation of an interface for 3D virtual environments, computer-aided design applications or computer games. Standard computer interfaces are bound to 2D surfaces, e.g., computer mouses, keyboards, touch pads or touch screens. The Smart Object is intended to provide the user with a 3D interface by using sensors that register movement (inertial measurement unit), touch (touch screen) and voice (microphone). The design and development process as well as the tests and results are presented in this paper. The Smart Object was developed by a team of four third-year engineering students from diverse scientific backgrounds and nationalities during one semester.

Implementação de uma Interface Homem-máquina baseada em Eletroculografia

A constante evolução da tecnologia permitiu ao ser humano a utilização de dispositivos electrónicos nas suas rotinas diárias. Estas podem ser afetadas quando os utilizadores sofrem de deficiências ou doenças que afetam as suas capacidades motoras. Com o intuito de minimizar este obstáculo surgiram as Interfaces Homem-Computador (HCI). É neste panorama que os sistemas HCI baseados em Eletroculografia (EOG) assumem um papel preponderante na melhoria da qualidade de vida destes indivíduos. A Eletroculografia é o resultado da aquisição do movimento ocular, que pode ser adquirido através de diversos métodos. Os métodos mais convencionais utilizam elétrodos de superfície para aquisição dos sinais elétricos, ou então, utilizam sistemas de gravação de vídeo, que gravam o movimento ocular. O objetivo desta tese é desenvolver um sistema HCI baseado em Eletroculografia, que adquire o sinal elétrico do movimento ocular através de elétrodos de superfície. Para tal desenvolveu-se um circuito eletrónico para a aquisição do sinal de EOG, bem como um algoritmo em Python para análise do mesmo. O circuito foi desenvolvido recorrendo a seis módulos diferentes, cada um deles com uma função específica. Para cada módulo foi necessário desenhar e implementar placas de circuito impresso, que quando conectadas entre si permitem filtrar, amplificar e digitalizar os sinais elétricos, adquiridos através de elétrodos de superfície, originados pelo movimento ocular. O algoritmo criado em Python permite analisar os dados provenientes do circuito e converte-os para coordenadas. Através destas foi possível determinar o sentido e a amplitude do movimento ocular.

Interfaces inovadores para a aprendizagem musical

Mestrado em Engenharia Informática

Projecto de avaliação de interfaces – PAI

Para obtenção do grau de Doutor pela Universidade de Vigo com menção internacional Departamento de Informática

SketchyDynamics apoio à produção de sistemas baseados em interfaces caligráficas para a simulação da dinâmica de corpos rígidos

Mestrado em Engenharia Informática - Área de Especialização em Sistemas Gráficos e Multimédia

Estudo preliminar para a avaliação da acessibilidade de um sítio Web

O avanço e difusão da tecnologia, em particular da Internet, obrigaram à disponibilização de informação com qualidade e facilmente acessível. Tais exigências vêm confirmar a relevância do papel da interface como elemento principal na interacção do utilizador com os sistemas de informação. É, por isso, fundamental que a interface seja fácil de usar e que vá ao encontro das expectativas e necessidades de todos os utilizadores. O desenvolvimento de interfaces que satisfaçam utilizadores com necessidades distintas, independentemente das suas capacidades motoras e perceptivas, culturais e sociais não é uma tarefa que possa se considerada simples [1]. De acordo com vários especialistas em Interacção Homem-Computador, [1], [2] e [3] as interfaces devem ser construídas respeitando os princípios de desenho centrado no utilizador, visando um elevado grau de usabilidade e em conformidade com directrizes de acessibilidade básicas. Este trabalho apresenta uma metodologia para avaliação da acessibilidade de um sítio Web, baseado num documento disponibilizado pela Web Accessibility Initiative, WAI, [4], a ser aplicada à secretaria on-line de uma escola do ensino superior.

Acesso a laboratórios remotos via ambientes imersivos acesso remoto a um multímetro

Recentemente, tem-se assistido à utilização de ambientes imersivos 3D em vários domínios tais como: actividades empresariais, educativas, lúdicas, entre outras devido à expansão do Second Life. A finalidade deste conceito é oferecer aos utilizadores um acesso alternativo a valências existentes no mundo real, a partir de um computador ligado à Internet. Uma aplicação prática pode ser a sua utilização em laboratórios remotos, com a finalidade de controlar remotamente instrumentos de medição, a partir de um ambiente imersivo. Para isso, o mesmo deve permitir a construção de um laboratório virtual e respectivos instrumentos, também virtuais. Este tipo de solução é viável, devido a existirem dispositivos com interfaces de acesso remoto, e ambientes 3D desenvolvidos em linguagens de programação que possuem bibliotecas de código para protocolos de redes de computadores. A finalidade deste trabalho é desenvolver uma metodologia de acesso remoto, a instrumentos de medição em laboratórios de electricidade e electrónica, usando ambientes imersivos 3D. Como caso de estudo, o instrumento utilizado é um multímetro, controlado remotamente a partir de uma reprodução num mundo virtual, construído no ambiente 3D Open Wonderland. Nessa reprodução virtual, numa primeira fase, só serão disponibilizadas para medição, um conjunto limitado das variáveis eléctricas passíveis de medir através do multímetro seleccionado.

Modelos e interfaces gráficos para objectos de aprendizagem na área da saúde

A educação é uma área bastante importante no desenvolvimento humano e tem vindo a adaptar-se às novas tecnologias. Tentam-se encontrar novas maneiras de ensinar de modo a obter um rendimento cada vez maior na aprendizagem das pessoas. Com o aparecimento de novas tecnologias como os computadores e a Internet, a concepção de aplicações digitais educativas cresceu e a necessidade de instruir cada vez melhor os alunos leva a que estas aplicações precisem de um interface que consiga leccionar de uma maneira rápida e eficiente. A combinação entre o ensino com o auxílio dessas novas tecnologias e a educação à distância deu origem ao e-Learning (ensino à distância). Através do ensino à distância, as possibilidades de aumento de conhecimento dos alunos aumentaram e a informação necessária tornou-se disponível a qualquer hora em qualquer lugar com acesso à Internet. Mas os cursos criados online tinham custos altos e levavam muito tempo a preparar o que gerou um problema para quem os criava. Para recuperar o investimento realizado decidiu-se dividir os conteúdos em módulos capazes de serem reaproveitados em diferentes contextos e diferentes tipos de utilizadores. Estes conteúdos modulares foram denominados Objectos de Aprendizagem. Nesta tese, é abordado o estudo dos Objectos de Aprendizagem e a sua evolução ao longo dos tempos em termos de interface com o utilizador. A concepção de um interface que seja natural e simples de utilizar nem sempre é fácil e independentemente do contexto em que se insere, requer algum conhecimento de regras que façam com que o utilizador que use determinada aplicação consiga trabalhar com um mínimo de desempenho. Na concepção de Objectos de Aprendizagem, áreas de complexidade elevada como a Medicina levam a que professores ou doutores sintam alguma dificuldade em criar um interface com conteúdos educativos capaz de ensinar com eficiência os alunos, devido ao facto de grande parte deles desconhecerem as técnicas e regras que levam ao desenvolvimento de um interface de uma aplicação. Através do estudo dessas regras e estilos de interacção torna-se mais fácil a criação de um bom interface e ao longo desta tese será estudado e proposto uma ferramenta que ajude tanto na criação de Objectos de Aprendizagem como na concepção do respectivo interface.

Construção de interfaces em Flex para sistemas de experimentação remota

Os laboratórios de experimentação remota estão normalmente associados a tecnologias ou soluções proprietárias, as quais restringem a sua utilização a determinadas plataformas e obrigam ao uso de software específico no lado do cliente. O ISEP possui um laboratório de experimentação remota, baseado em instrumentação virtual, usado no apoio ao ensino da electrónica e construído sobre uma plataforma NIELVIS da National Instruments. O software de controlo da plataforma recorre à linguagem gráfica de programação LabVIEW. Esta é uma ferramenta desenvolvida pela National Instruments que facilita o desenvolvimento de aplicações de sistemas de experimentação remota, mas que possui várias limitações, nomeadamente a necessidade de instalação do lado do cliente de um plug-in, cuja disponibilidade se encontra limitada a determinadas versões de sistemas operativos e de Web Browsers. A experiência anterior demonstrou que estas questões limitam o número de clientes com possibilidade de acesso ao laboratório remoto, para além de, em alguns casos, se ter verificado não ser transparente a sua instalação e utilização. Neste contexto, o trabalho de investigação consistiu no desenvolvimento de uma solução que permite a geração de interfaces que possibilitam o controlo remoto do sistema implementado, e que, ao mesmo tempo, são independentes da plataforma usada pelo cliente.

Edição gráfica de layout fabril no apoio ao planeamento e controlo da produção

O contributo da área de investigação Interacção Humano-Computador (HCI) está patente não só na qualidade da interacção, mas também na diversificação das formas de interacção. A HCI define-se como sendo uma disciplina que se dedica ao desenho, desenvolvimento e implementação de sistemas de computação interactivos para uso humano e estudo dos fenómenos relevantes que os rodeiam. Pretende-se, no âmbito desta tese de mestrado, o desenvolvimento de um Editor Gráfico de Layout Fabril a integrar num SAD para suporte ao Planeamento e Controlo da Produção. O sistema deve ser capaz de gerar um layout fabril do qual constam, entre outros objectos, as representações gráficas e as respectivas características/atributos do conjunto de recursos (máquinas/processadores) existentes no sistema de produção a modelar. O módulo desenvolvido será integrado no projecto de I&D ADSyS (Adaptative Decision Support System for Interactive Scheduling with MetaCognition and User Modeling Experience), melhorando aspectos de interacção referentes ao sistema AutoDynAgents, um dedicado ao escalonamento, planeamento e controlo de produção. Foi realizada a análise de usabilidade a este módulo com a qual se pretendeu realizar a respectiva avaliação, através da realização de um teste de eficiência e do preenchimento de um inquérito, da qual se identificaram um conjunto de melhorias e sugestões a serem consideradas no refinamento deste módulo.

Effects of early life permethrin exposure on spatial working memory and on monoamine levels in different brain areas of pre-senescent rats

Pesticide exposure during brain development could represent an important risk factor for the onset of neurodegenerative diseases. Previous studies investigated the effect of permethrin (PERM) administered at 34 mg/kg, a dose close to the no observable adverse effect level (NOAEL) from post natal day (PND) 6 to PND 21 in rats. Despite the PERM dose did not elicited overt signs of toxicity (i.e. normal body weight gain curve), it was able to induce striatal neurodegeneration (dopamine and Nurr1 reduction, and lipid peroxidation increase). The present study was designed to characterize the cognitive deficits in the current animal model. When during late adulthood PERM treated rats were tested for spatial working memory performances in a T-maze-rewarded alternation task they took longer to choose for the correct arm in comparison to age matched controls. No differences between groups were found in anxiety-like state, locomotor activity, feeding behavior and spatial orientation task. Our findings showing a selective effect of PERM treatment on the T-maze task point to an involvement of frontal cortico-striatal circuitry rather than to a role for the hippocampus. The predominant disturbances concern the dopamine (DA) depletion in the striatum and, the serotonin (5-HT) and noradrenaline (NE) unbalance together with a hypometabolic state in the medial prefrontal cortex area. In the hippocampus, an increase of NE and a decrease of DA were observed in PERM treated rats as compared to controls. The concentration of the most representative marker for pyrethroid exposure (3-phenoxybenzoic acid) measured in the urine of rodents 12 h after the last treatment was 41.50 µ/L and it was completely eliminated after 96 h.

Effects of emotional valence and three-dimensionality of visual stimuli on brain activation: an fMRI study

BACKGROUND: Examining changes in brain activation linked with emotion-inducing stimuli is essential to the study of emotions. Due to the ecological potential of techniques such as virtual reality (VR), inspection of whether brain activation in response to emotional stimuli can be modulated by the three-dimensional (3D) properties of the images is important. OBJECTIVE: The current study sought to test whether the activation of brain areas involved in the emotional processing of scenarios of different valences can be modulated by 3D. Therefore, the focus was made on the interaction effect between emotion-inducing stimuli of different emotional valences (pleasant, unpleasant and neutral valences) and visualization types (2D, 3D). However, main effects were also analyzed.METHODS: The effect of emotional valence and visualization types and their interaction were analyzed through a 3x2 repeated measures ANOVA. Post-hoc t-tests were performed under a ROI-analysis approach. RESULTS: The results show increased brain activation for the 3D affective-inducing stimuli in comparison with the same stimuli in 2D scenarios, mostly in cortical and subcortical regions that are related to emotional processing, in addition to visual processing regions. CONCLUSIONS: This study has the potential of clarify brain mechanisms involved in the processing of emotional stimuli (scenarios’ valence) and their interaction with three-dimensionality.