Development of advanced human robot interaction systems

O trabalho aqui apresentado é a Dissertação da minha Tese do curso de Mestrado em Engenharia Eletrotécnica e de Computadores do ISEP, realizada em parceria com o INESC TEC. O trabalho consiste no desenvolvimento de um sistema avançado de interação entre homem-robô, usando ferramentas de software livres e de domínio público e hardware pouco dispendioso e facilmente acessível. Pretende-se que o sistema desenvolvido possa ser adotado por pequenas ou micro empresas, daí a restrição monetária. Este tipo de empresas tem, por norma, uma capacidade de investimento pequena, e ficam impossibilitadas de aceder a este tipo de sistemas automatizados se estes forem caros. No entanto, o robô continua a ser um componente fundamental, sendo dispendioso. Os trabalhos realizados pelos sistemas robóticos podem por um lado, ser repetitivos sem necessidade de grandes ajustes; por outro lado, o trabalho a realizar pode ser bastante diverso, sendo necessários bastantes ajustes com (possivelmente) programação do robô. As empresas podem não ter disponível mão-de-obra qualificada para realização da programação do robô. Pretende-se então um sistema de “ensino” que seja simples e rápido. Este trabalho pretende satisfazer as necessidades de um sistema de interação homem-robô intuitivo mesmo para operadores que não estejam familiarizados com a robótica. Para simplificar a transferência de informação da tarefa a desempenhar pelo sistema robótico é usado um sistema de infravermelhos para delinear a operação a desempenhar, neste caso concreto uma operação de soldadura. O operador usa um apontador com marcadores, a posição destes marcadores é detetada usando duas câmaras para permitir o posicionamento tridimensional no espaço. As câmaras possuem filtros infravermelhos para separar o espectro de luz. Para o controlo do sistema e interface com o robô é usado um computador de baixos recursos computacionais e energéticos, e também de baixo custo. O sistema desenvolvido é portanto computacionalmente leve para poder ser executado neste computador.

Comunicação humano-robô através de linguagem falada

Nos últimos anos, as tecnologias que dão suporte à robótica avançaram expressivamente. É possível encontrar robôs de serviço nos mais variados campos. O próximo passo é o desenvolvimento de robôs inteligentes, com capacidade de comunicação em linguagem falada e de realizar trabalhos úteis em interação/cooperação com humanos. Torna-se necessário, então, encontrar um modo de interagir eficientemente com esses robôs, e com agentes inteligentes de maneira geral, que permita a transmissão de conhecimento em ambos os sentidos. Partiremos da hipótese de que é possível desenvolver um sistema de diálogo baseado em linguagem natural falada que resolva esse problema. Assim, o objetivo principal deste trabalho é a definição, implementação e avaliação de um sistema de diálogo utilizável na interação baseada em linguagem natural falada entre humanos e agentes inteligentes. Ao longo deste texto, mostraremos os principais aspectos da comunicação por linguagem falada, tanto entre os humanos, como também entre humanos e máquinas. Apresentaremos as principais categorias de sistemas de diálogo, com exemplos de alguns sistemas implementados, assim como ferramentas para desenvolvimento e algumas técnicas de avaliação. A seguir, entre outros aspectos, desenvolveremos os seguintes: a evolução levada a efeito na arquitetura computacional do Carl, robô utilizado neste trabalho; o módulo de aquisição e gestão de conhecimento, desenvolvido para dar suporte à interação; e o novo gestor de diálogo, baseado na abordagem de “Estado da Informação”, também concebido e implementado no âmbito desta tese. Por fim, uma avaliação experimental envolvendo a realização de diversas tarefas de interação com vários participantes voluntários demonstrou ser possível interagir com o robô e realizar as tarefas solicitadas. Este trabalho experimental incluiu avaliação parcial de funcionalidades, avaliação global do sistema de diálogo e avaliação de usabilidade.

Proposta de um modelo gráfico e navegacional básico para interfaces de aplicações educacionais baseado em validação experimental

O desenvolvimento de projetos de interfaces gráficas está apoiado em guias de recomendações. Estes guias apresentam regras genéricas aos projetos de Interfaces Homem Computador–IHC. Entretanto, aplicações particulares, como as educacionais, não encontram regras específicas que atendam as necessidades do usuário-alvo. Ainda, a análise comparativa entre guias disponíveis aponta contradições entre as recomendações genéricas com aquelas específicas aplicadas a um determinado ambiente. A necessidade de um modelo de referência para a construção de interfaces gráficas amigáveis ao usuário e a escassez e contradições de recomendações específicas às aplicações educacionais motivaram o trabalho de pesquisa prática junto aos usuáriosalvo. Para a identificação das recomendações sobre aspectos gráficos básicos e elementos de navegação necessários a uma efetiva interação com interfaces dedicadas a aplicações educacionais, foi desenvolvido um instrumento de pesquisa que permitiu a investigação das preferências relativas aos aspectos pesquisados junto ao público-alvo. Os dados coletados foram tratados estatisticamente e os resultados obtidos contrariam tanto critérios adotados em interfaces de sistemas de ensino disponíveis na Internet como algumas recomendações sobre os mesmos disponíveis na literatura. Os resultados obtidos apontam, também, para a preferência dos usuários por elementos de navegação que não são referidos nos guias de recomendações consultados. A análise dos resultados possibilitou a geração de um modelo básico que recomenda preferências sobre aspectos gráficos básicos, como aplicação de cores em fontes e fundos de tela, tipologia de fontes para textos e paginação, e também, sobre componentes de navegação, como posicionamento e preferência por tipo de recurso de navegação. O modelo proposto está fundamentado nas recomendações de Nielsen [NIE 00], o qual recomenda que as necessidades dos usuários na interatividade com a interface sejam identificadas junto a estes usuários. As recomendações apresentadas neste trabalho foram utilizadas, inicialmente, nos ambientes educacionais desenvolvidos dentro dos projetos Tapejara [TAP 00] e LaVia [LAV 00].

Grounding human vocabulary in robot perception through interaction

This thesis addresses the problem of word learning in computational agents. The motivation behind this work lies in the need to support language-based communication between service robots and their human users, as well as grounded reasoning using symbols relevant for the assigned tasks. The research focuses on the problem of grounding human vocabulary in robotic agent’s sensori-motor perception. Words have to be grounded in bodily experiences, which emphasizes the role of appropriate embodiments. On the other hand, language is a cultural product created and acquired through social interactions. This emphasizes the role of society as a source of linguistic input. Taking these aspects into account, an experimental scenario is set up where a human instructor teaches a robotic agent the names of the objects present in a visually shared environment. The agent grounds the names of these objects in visual perception. Word learning is an open-ended problem. Therefore, the learning architecture of the agent will have to be able to acquire words and categories in an openended manner. In this work, four learning architectures were designed that can be used by robotic agents for long-term and open-ended word and category acquisition. The learning methods used in these architectures are designed for incrementally scaling-up to larger sets of words and categories. A novel experimental evaluation methodology, that takes into account the openended nature of word learning, is proposed and applied. This methodology is based on the realization that a robot’s vocabulary will be limited by its discriminatory capacity which, in turn, depends on its sensors and perceptual capabilities. An extensive set of systematic experiments, in multiple experimental settings, was carried out to thoroughly evaluate the described learning approaches. The results indicate that all approaches were able to incrementally acquire new words and categories. Although some of the approaches could not scale-up to larger vocabularies, one approach was shown to learn up to 293 categories, with potential for learning many more.

Interfaces e inquietações no diálogo entre Kierkegaard e Foucault - filosofia antiga, psicologia e processos de subjetivação

A presente tese inicia-se por uma encruzilhada e um segredo: na encruzilhada está a psicologia, entre os apelos instrumentais, antropológicos e neurocientíficos; já o segredo refere-se à quase desconhecida leitura de Kierkegaard por Foucault. Os dois filósofos se inscrevem na esteira da experimentação filosófica, caminho oposto ao da metafísica. Experimentação, aqui, não diz respeito a qualquer empirismo; inspira-se nos exercícios espirituais da Antiguidade grega e romana, e nas práticas da ironia, do cuidado de si e da parresía filosófica. As aproximações possíveis entre o pensamento de Kierkegaard e o de Foucault por esse viés da filosofia antiga, visam a contribuir para uma compreensão da psicologia e de suas práticas que permita o enfrentamento dos dilemas acima referidos, ou seja, os instrumentais, antropológicos e neurocientíficos. O percurso do trabalho tem como ponto de partida as suspeitas direcionadas à psicologia, desde o questionamento colocado por Canguilhem há mais de cinqüenta anos acerca das intenções pouco claras da disciplina, passando pelas críticas aos processos de subjetivação psicologizantes, até chegar ao grave enquadramento contemporâneo que busca convencer os sujeitos de que são, em última análise, nada mais do que cérebros. Os processos de subjetivação engendrados pelas práticas psi se vêem, pois, colocados hoje frente a impasses de difícil solução. Tantas são as suspeitas e temores quanto aos efeitos psi, que os próprios profissionais da área têm, em muitos casos, assumido a posição de que a psicologia se tornou inviável e deve desaparecer. As referências objetivantes ou antropológicas, quando priorizadas pela psicologia, de fato não deixam saídas, tornando urgente o encontro com outros referenciais que possibilitem respirar novos ares. O pensamento de Kierkegaard e o de Foucault surgem como intercessores em face desse horizonte sombrio. Os dois filósofos se dedicaram a tornar o homem atento a si e ao mundo, priorizando saídas singulares e criativas em lugar da reprodução dos modos de ser hegemônicos que ameaçam igualar tudo e todos. Desnaturalizadores do presente e avessos às grandes especulações teóricas sobre a vida, escreveram obras que é preciso experienciar, mais do que simplesmente ler, a fim de captar-lhes a atmosfera e com elas operar. A partir dessa atitude, a psicologia experimental ou interpretativa pode dar lugar a uma psicologia experimentante, que acompanha o cotidiano ao invés de se colocar como uma curiosidade sem paixão. Tal psicologia segue de maneira interessada os movimentos da existência e a apropriação pessoal da verdade, que deixa de ser transcendente, metafísica ou sonhada, e aparece encarnada nas lutas, receios, enganos, ações e tensões do dia-a-dia dos sujeitos de carne, osso e espírito. É na tensão constituinte-constituído que o sujeito se forja, seja ele lançado por Deus, como pensa Kierkegaard, seja, como propõe Foucault, mergulhado nos esquemas e objetivações que toma como naturais: a tarefa do sujeito é tornar-se si mesmo, participando de forma mais livre da própria constituição, exercendo de maneira refletida e ética a liberdade e transparecendo a si mesmo, ao invés de tomar como suas as determinações que lhe são oferecidas. A presente tese visa, portanto, a estabelecer o diálogo entre Foucault e Kierkegaard, pelo viés da filosofia antiga, buscando inspiração para promover, no tempo presente, processos de subjetivação outros que os modos desesperados de ser, e práticas psicológicas mais experimentantes e menos disciplinadoras.

Os sistemas de recompensa nas interfaces contemporâneas de comunicação

Na atualidade observa-se vastos estudos sobre os processos na área do Design acerca de como projetar experiências e prototipar interações entre pessoas e sistemas, e mesmo entre pessoas por intermédio de sistemas. Enquanto todo tipo de produto produz uma experiência de uso, com a evolução da interatividade as relações estabelecidas entre os usuários e os produtos tornaram-se mais complexas e modificaram-se ao longo dos anos. A abordagem teórica destinada a tratar essas questões também expandiu e diversificou-se simultaneamente. A partir de um estudo sobre os processos interativos e o campo teórico relacionado, foi possível identificar um fenômeno relativamente recente em interfaces nas quais pode ser verificado um alto nível de interação, a saber: os sistemas de recompensa. Cabe salientar que este termo foi emprestado da Neurociência, aonde é utilizado para descrever o circuito responsável pelo gerenciamento do comportamento através da indução de prazer e dor. Portanto, o autor desta dissertação propõe uma acepção do termo no âmbito do design de componentes interativos para designar o artifício, que muitas interfaces atuais incorporaram, de conceder aos usuários a possibilidade de apreciarem, ou não, determinado conteúdo em rede. Assim, pode-se compreender que o emprego do termo aqui é metafórico. Neste processo os usuários podem fornecer outros tipos de feedback ao sistema, como por exemplo um comentário, ou compartilhamento, estimulando assim uma série de desdobramentos interativos e repercussões para a experiência de uso do produto. Este trabalho propõe uma investigação qualitativa sobre as interações concernentes aos sistemas de recompensa, abordando tanto questões objetivas funcionais dos sistemas, quanto questões referentes ao feedback dos usuários. O Facebook será amplamente analisado, por ter sido uma interface pioneira na manipulação dos sistemas de recompensa, na qual estes componentes alcançaram um alto nível de desenvolvimento até este momento. A justificativa para esta pesquisa se deve a dois fatores particularmente relevantes: primeiro, a ausência de conteúdo significativo na literatura relacionada atual. Em segundo lugar, a notável expansão dos sistemas criados com esta finalidade, conforme será demonstrado no estudo. O objetivo deste projeto é compreender de que forma o design dos sistemas de recompensa influenciam o fluxo de interações e o comportamento dos usuários atualmente. Para tanto, esta pesquisa procura verificar como determinados aspectos teóricos do design - dedicados à compreensão da dinâmica de processos interativos - se aplicam a experiências reais de interação no mundo contemporâneo. Por exemplo, diversos modelos e frameworks nas áreas de HCI (Interação Humano-Computador), UX (experiência do usuário), e design de experiências destacam conceitos condizentes com aspectos identificados nos sistemas de recompensa que por sua vez encontram-se em processo de desenvolvimento, guiados por tendências comerciais de uma forma quase que intuitiva, no sentido de que pouca atenção tem sido dada na literatura sobre as bases neuronais que fazem este processo funcionar. Desta forma, pretende-se fornecer subsídios para uma melhor compreensão do impacto que os sistemas de recompensa analisados nesta dissertação desempenham sobre a experiência de uso entre consumidores e produtos delineados dentro deste paradigma

Os sistemas de recompensa nas interfaces contemporâneas de comunicação

Na atualidade observa-se vastos estudos sobre os processos na área do Design acerca de como projetar experiências e prototipar interações entre pessoas e sistemas, e mesmo entre pessoas por intermédio de sistemas. Enquanto todo tipo de produto produz uma experiência de uso, com a evolução da interatividade as relações estabelecidas entre os usuários e os produtos tornaram-se mais complexas e modificaram-se ao longo dos anos. A abordagem teórica destinada a tratar essas questões também expandiu e diversificou-se simultaneamente. A partir de um estudo sobre os processos interativos e o campo teórico relacionado, foi possível identificar um fenômeno relativamente recente em interfaces nas quais pode ser verificado um alto nível de interação, a saber: os sistemas de recompensa. Cabe salientar que este termo foi emprestado da Neurociência, aonde é utilizado para descrever o circuito responsável pelo gerenciamento do comportamento através da indução de prazer e dor. Portanto, o autor desta dissertação propõe uma acepção do termo no âmbito do design de componentes interativos para designar o artifício, que muitas interfaces atuais incorporaram, de conceder aos usuários a possibilidade de apreciarem, ou não, determinado conteúdo em rede. Assim, pode-se compreender que o emprego do termo aqui é metafórico. Neste processo os usuários podem fornecer outros tipos de feedback ao sistema, como por exemplo um comentário, ou compartilhamento, estimulando assim uma série de desdobramentos interativos e repercussões para a experiência de uso do produto. Este trabalho propõe uma investigação qualitativa sobre as interações concernentes aos sistemas de recompensa, abordando tanto questões objetivas funcionais dos sistemas, quanto questões referentes ao feedback dos usuários. O Facebook será amplamente analisado, por ter sido uma interface pioneira na manipulação dos sistemas de recompensa, na qual estes componentes alcançaram um alto nível de desenvolvimento até este momento. A justificativa para esta pesquisa se deve a dois fatores particularmente relevantes: primeiro, a ausência de conteúdo significativo na literatura relacionada atual. Em segundo lugar, a notável expansão dos sistemas criados com esta finalidade, conforme será demonstrado no estudo. O objetivo deste projeto é compreender de que forma o design dos sistemas de recompensa influenciam o fluxo de interações e o comportamento dos usuários atualmente. Para tanto, esta pesquisa procura verificar como determinados aspectos teóricos do design - dedicados à compreensão da dinâmica de processos interativos - se aplicam a experiências reais de interação no mundo contemporâneo. Por exemplo, diversos modelos e frameworks nas áreas de HCI (Interação Humano-Computador), UX (experiência do usuário), e design de experiências destacam conceitos condizentes com aspectos identificados nos sistemas de recompensa que por sua vez encontram-se em processo de desenvolvimento, guiados por tendências comerciais de uma forma quase que intuitiva, no sentido de que pouca atenção tem sido dada na literatura sobre as bases neuronais que fazem este processo funcionar. Desta forma, pretende-se fornecer subsídios para uma melhor compreensão do impacto que os sistemas de recompensa analisados nesta dissertação desempenham sobre a experiência de uso entre consumidores e produtos delineados dentro deste paradigma.

Interfaces humano-computador com reconhecimento de gestos e representação holográfica

Dissertação de mestrado, Engenharia Elétrica e Eletrónica, Instituto Superior de Engenharia, Universidade do Algarve, 2015

Issues and benefits of using 3D Interfaces: visual and verbal tasks

Spatial memory is important for locating objects in hierarchical data structures, such as desktop folders. There are, however, some contradictions in literature concerning the effectiveness of 3D user interfaces when compared to their 2D counterparts. This paper uses a task-based approach in order to investigate the effectiveness of adding a third dimension to specific user tasks, i.e. the impact of depth on navigation in a 3D file manager. Results highlight issues and benefits of using 3D interfaces for visual and verbal tasks, and introduces the possible existence of a correlation between aptitude scores achieved on the Guilford- Zimmerman Orientation Survey and Electroencephalography- measured brainwave activity as participants search for targets of variable perceptual salience in 2D and 3D environments.

Personalização de interfaces web para sites institucionais com base em perfis de usuários

A crescente utilização de computadores e a popularização da Internet contribuem cada vez mais para que usuários não especialistas em informática tenham acesso a sistemas computacionais. Tais usuários possuem diferentes habilidades, formações e idades que devem ser levadas em consideração no projeto de uma boa interface. No entanto, no projeto de interfaces web é muito difícil identificar essas características do público alvo, tendo em vista que ele é bastante diversificado. Assim, construir uma interface que atenda os requisitos de todos os usuários de um site não é uma tarefa fácil. Se o projetista tivesse uma maneira de conhecer o seu público, grande parte dos problemas de interação entre usuário e interface poderiam ser resolvidos. Assim, a fim de auxiliar na tarefa de conhecer o público que um site possui, várias técnicas estão disponíveis. Independente das características dos usuários de sites web, a sua principal necessidade consiste em encontrar a informação desejada de modo fácil e rápido. Ainda que seja possível identificar o comportamento de todos os usuários em um site, torna-se difícil disponibilizar informações de forma clara e simples para todos. Para isto, um site adaptativo, que se ajusta automaticamente a cada usuário de acordo com seus padrões de comportamento, é muito útil. Sites adaptativos são desenvolvidos com base em técnicas que auxiliam o projetista na tarefa de personalizar páginas web e, por este motivo, são chamadas de técnicas de personalização. O objetivo desta dissertação é investigar, desenvolver e experimentar uma técnica de personalização de interfaces web voltada especificamente para sites institucionais. Este tipo de site é voltado à divulgação de produtos e serviços de uma instituição e, normalmente, é composto por um grande número de páginas estruturadas de acordo com a estrutura organizacional da instituição. Essa característica permite o agrupamento de usuários por funções ou cargos. A técnica proposta neste trabalho é baseada em perfis de usuários, onde a personalização ocorre em dois níveis: nível de grupos de usuários e nível de usuários individuais, denominados respectivamente de macro perfil e micro perfil. Um estudo de caso realizado na intranet da Agência Nacional de Telecomunicações – ANATEL foi utilizado para aprimorar e validar a técnica. Foi desenvolvido um protótipo de site institucional personalizado, o qual foi disponibilizado, utilizado e avaliado por um grupo de usuários previamente selecionados. O processo de construção do protótipo assim como da avaliação e seus resultados são também descritos neste trabalho.

Geração automática de interfaces com o utilizador: uma abordagem baseada em MDA para a plataforma PHP

Os modelos e as técnicas de modelação são, hoje em dia, fundamentais na engenharia de software, devido à complexidade e sofisticação dos sistemas de informação actuais.A linguagem Unified Modeling Language (UML) [OMG, 2005a] [OMG, 2005b] tornou-se uma norma para modelação, na engenharia de software e em outras áreas e domínios, mas é reconhecida a sua falta de suporte para a modelação da interactividade e da interface com o utilizador [Nunes and Falcão e Cunha, 2000].Neste trabalho, é explorada a ligação entre as áreas de engenharia de software e de interacção humano-computador, tendo, para isso, sido escolhido o processo de desenvolvimento Wisdom [Nunes and Falcão e Cunha, 2000] [Nunes, 2001]. O método Wisdom é conduzido por casos de utilização essenciais e pelo princípio da prototipificação evolutiva, focando-se no desenho das interfaces com o utilizador através da estrutura da apresentação, com a notação Protótipos Abstractos Canónicos (PAC) [Constantine and Lockwood, 1999] [Constantine, 2003], e do comportamento da interacção com a notação ConcurTaskTrees (CTT) [Paternò, 1999] [Mori, Paternò, et al., 2004] em UML.É proposto, também, neste trabalho um novo passo no processo Wisdom, sendo definido um modelo específico, construído segundo os requisitos da recomendação Model Driven Architecture (MDA) [Soley and OMG, 2000] [OMG, 2003] elaborada pela organização Object Managent Group (OMG). Este modelo específico será o intermediário entre o modelo de desenho e a implementação da interface final com o utilizador. Esta proposta alinha o método Wisdom com a recomendação MDA, tornando possível que sejam gerados, de forma automática, protótipos funcionais de interfaces com o utilizador a partir dos modelos conceptuais de análise e desenho.Foi utilizada a ferramenta de modelação e de metamodelação MetaSketch [Nóbrega, Nunes, et al., 2006] para a definição e manipulação dos modelos e elementos propostos. Foram criadas as aplicações Model2Model e Model2Code para suportar as transformações entre modelos e a geração de código a partir destes. Para a plataforma de implementação foi escolhida a framework Hydra, desenvolvida na linguagem PHP [PHP, 2006], que foi adaptada com alguns conceitos de modo a suportar a abordagem defendida neste trabalho.

Inventania: interfaces tecnológicas em invenções poéticas

Pós-graduação em Artes - IA

Interfaces culturais de Mallarmé à World Wide Web

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Um ambiente colaborativo de aprendizagem interdisciplinar apoiado por interfaces adaptativas

A utilização de Ambientes Virtuais de Aprendizagem (AVAs) torna-se, a cada dia, mais evidente em diversas instituições de ensino público e particular, assim como em órgãos governamentais e privados. Várias versões de AVAs encontram-se disponíveis para utilização gratuita, cada uma com suas idiossincrasias. No Brasil, já são quase mil instituições que utilizam referidos ambientes. Esses números expressam a necessidade de investimentos e de novas pesquisas na área. Este trabalho especifica e desenvolve um AVA que tem por objetivo minimizar problemas encontrados em muitas abordagens de ambientes atualmente disponíveis, propondo um ambiente denominado de Ambiente Colaborativo de Aprendizagem Interdisciplinar (ACAI), desenvolvido para disponibilizar uma infra-estrutura que permita integrar os conceitos de: trabalho colaborativo, comunidades virtuais de aprendizagem, interdisciplinaridade, adaptação de interfaces e, de forma complementar, permitir a geração de recomendações automáticas a seus usuários baseadas em seus perfis.

Ergonomics and interfaces of traditional information systems: packaging

The contemporary world is characterized, among other factors, by the influence of the new computer information systems on the behavior of individuals. However, traditional information systems still have interaction problems with users. The aim of this study was to determine whether the interaction aspects between user versus traditional information systems (particularly the graphics) have been fully studied. To do so, the ergonomic aspects and usability of such systems were reviewed, with emphasis on the problems of visibility, legibility and readability. From that criteria, the evolution of ergonomic studies of information systems was reviewed (bibliometrics technique); and examples of ergonomic and usability problems in packaging were demonstrated (case study). The results confirm that traditional information systems still have problems of interaction between human X system, hindering the effective perception of information.