Grounding human vocabulary in robot perception through interaction

This thesis addresses the problem of word learning in computational agents. The motivation behind this work lies in the need to support language-based communication between service robots and their human users, as well as grounded reasoning using symbols relevant for the assigned tasks. The research focuses on the problem of grounding human vocabulary in robotic agent’s sensori-motor perception. Words have to be grounded in bodily experiences, which emphasizes the role of appropriate embodiments. On the other hand, language is a cultural product created and acquired through social interactions. This emphasizes the role of society as a source of linguistic input. Taking these aspects into account, an experimental scenario is set up where a human instructor teaches a robotic agent the names of the objects present in a visually shared environment. The agent grounds the names of these objects in visual perception. Word learning is an open-ended problem. Therefore, the learning architecture of the agent will have to be able to acquire words and categories in an openended manner. In this work, four learning architectures were designed that can be used by robotic agents for long-term and open-ended word and category acquisition. The learning methods used in these architectures are designed for incrementally scaling-up to larger sets of words and categories. A novel experimental evaluation methodology, that takes into account the openended nature of word learning, is proposed and applied. This methodology is based on the realization that a robot’s vocabulary will be limited by its discriminatory capacity which, in turn, depends on its sensors and perceptual capabilities. An extensive set of systematic experiments, in multiple experimental settings, was carried out to thoroughly evaluate the described learning approaches. The results indicate that all approaches were able to incrementally acquire new words and categories. Although some of the approaches could not scale-up to larger vocabularies, one approach was shown to learn up to 293 categories, with potential for learning many more.

Design e avaliação de pictogramas farmacêuticos

A informação inerente aos medicamentos no processo de medicação e prescrição tem revelado insuficiências relativamente às necessidades do utilizador. Este projecto aborda essas dificuldades e procura contribuir, através do design e avaliação de pictogramas farmacêuticos, para um melhor acesso das pessoas à informação, oral e escrita, prestada por médicos, farmacêuticos e pela literatura inclusa dos medicamentos. Verificámos que, nos últimos 40 anos, se desenvolveram quase mil representações gráficas, provenientes de 20 países, sobre mensagens relativas a perigos, precauções e informações de como tomar o medicamento. Com base nesse conjunto mundial colectado, tão alargado e diversificado, procedeu-se à analise, agrupamento e comparação dessas representações com vista a apurar a diversidade gráfica e escrita das 75 mensagens farmacêuticas identificadas nesta investigação. Foi seguidamente consultada uma centena de profissionais de saúde dentro da área farmacêutica para selecção e definição da informação a ser projectada em pictogramas. Algumas das mensagens seleccionadas foram, por ordem de importância: “Não aplicar nos olhos”, “Não beber álcool enquanto estiver a tomar o medicamento” e “Guardar no frigorífico”. Foi concebido um sistema PictoPharma, bilingue (Português e Inglês), composto por 32 pictogramas farmacêuticos, com várias possibilidades cromáticas de acordo com as diversas aplicações para suportes de impressão e ecrã (Registo de Propriedade Industrial – marca e design). Embora o sistema projectado possa aumentar a capacidade de recordar as informações importantes pelas pessoas em geral, os públicos-alvo que mais beneficiarão com o sistema são: pessoas que apresentam especiais dificuldades de leitura - analfabetos, pessoas com nenhum conhecimento ou um conhecimento limitado da língua; pessoas com dificuldades para relembrar e / ou compreender o tratamento - população envelhecida, sob múltiplos tratamentos ou com menores capacidades intelectuais; pessoas que não falam a língua local ou são de uma cultura diferente - estrangeiros, turistas, imigrantes. Foram feitos testes de usabilidade com os públicos-alvo específicos, de forma a verificar a percentagem de compreensão dos pictogramas, sem a respectiva legenda e de acordo com as normas internacionais de normalização. Os resultados dos testes indicaram que metade do sistema atingiu os 100% de compreensão e a outra metade atingiu mais de 88%. O sistema PictoPharma criado caracteriza-se: pelo design gráfico no seu contraste visual e na possibilidade de leitura numa escala reduzida; pelo conceito de familiaridade gráfica representada no seu conjunto, de forma a tornar os pictogramas mais facilmente memorizáveis; pelo estudo feito para minimizar especificidades culturais visuais; pelas diversas aplicações possíveis na indústria; pelas direcções que aponta para futuras investigações sobre as escolhas visuais culturais inerentes a um projecto de design com este.