Grounding human vocabulary in robot perception through interaction

This thesis addresses the problem of word learning in computational agents. The motivation behind this work lies in the need to support language-based communication between service robots and their human users, as well as grounded reasoning using symbols relevant for the assigned tasks. The research focuses on the problem of grounding human vocabulary in robotic agent’s sensori-motor perception. Words have to be grounded in bodily experiences, which emphasizes the role of appropriate embodiments. On the other hand, language is a cultural product created and acquired through social interactions. This emphasizes the role of society as a source of linguistic input. Taking these aspects into account, an experimental scenario is set up where a human instructor teaches a robotic agent the names of the objects present in a visually shared environment. The agent grounds the names of these objects in visual perception. Word learning is an open-ended problem. Therefore, the learning architecture of the agent will have to be able to acquire words and categories in an openended manner. In this work, four learning architectures were designed that can be used by robotic agents for long-term and open-ended word and category acquisition. The learning methods used in these architectures are designed for incrementally scaling-up to larger sets of words and categories. A novel experimental evaluation methodology, that takes into account the openended nature of word learning, is proposed and applied. This methodology is based on the realization that a robot’s vocabulary will be limited by its discriminatory capacity which, in turn, depends on its sensors and perceptual capabilities. An extensive set of systematic experiments, in multiple experimental settings, was carried out to thoroughly evaluate the described learning approaches. The results indicate that all approaches were able to incrementally acquire new words and categories. Although some of the approaches could not scale-up to larger vocabularies, one approach was shown to learn up to 293 categories, with potential for learning many more.

Promoção da acessibilidade em televisão interativa (iTV) : proposta de um serviço adaptado a utilizadores com défice visual

As infraestruturas de televisão interativa atualmente existentes possibilitam a integração de uma grande variedade de recursos e serviços, possibilitando aos utilizadores novas experiências de interação e participação. Para a maioria dos telespetadores, o uso de serviços interativos não acarreta grandes dificuldades; no entanto, para públicos com necessidades especiais, por exemplo para pessoas com défice visual, essa tarefa torna-se complexa, dificultando, ou mesmo impedindo, que estes utilizadores possam beneficiar deste tipo de serviços. Portugal não é uma exceção neste contexto, existindo um número significativo de utilizadores com défice visual (UDV) que não beneficiam totalmente das potencialidades do paradigma televisivo atual. Neste âmbito, o projeto de investigação que suporta esta tese explora a problemática do Design Universal aplicado à Televisão Interativa (iTV) e tem como objetivos a conceptualização, prototipagem e validação de um serviço de iTV adaptado especificamente a UDV, visando promover a sua inclusão digital. Para cumprir estes objetivos, a investigação dividiu-se em três etapas distintas. Na primeira etapa, a partir da Teoria Fundamentada nos Dados, foram identificadas as dificuldades e necessidades dos UDV enquanto consumidores de conteúdos televisivos e serviços de audiodescrição; foi selecionada a plataforma tecnológica mais adequada para o suporte do serviço prototipado; e foi definido um conjunto de princípios orientadores de design (POD’s) de interfaces de televisão interativa específico para este público-alvo. Inicialmente foram efetuadas duas entrevistas a 20 participantes com défice visual, para determinar as suas dificuldades e necessidades enquanto consumidores de conteúdos televisivos e serviços de audiodescrição. De seguida, foi realizada uma entrevista a um perito responsável pelo processo de transição para a TDT em Portugal (inicialmente considerou-se que a TDT seria uma plataforma promissora e poderia suportar o protótipo) e efetuada a revisão da literatura sobre POD’s para o desenvolvimento de interfaces para serviços iTV dirigidos a pessoas com défice visual. A partir dos resultados obtidos nesta etapa foi possível definir os requisitos funcionais e técnicos do sistema, bem como os seus PODs, tanto ao nível da componente gráfica, como de interação. Na segunda etapa foi concetualizado e desenvolvido o protótipo iTV adaptado a UDV ‘meo ad+’, com recurso à plataforma tecnológica IPTV da Portugal Telecom, seguindo os requisitos e os princípios de design definidos. Relativamente à terceira etapa, esta contemplou a avaliação do serviço prototipado, por parte de um grupo de participantes com défice visual. Esta fase do trabalho foi conduzida através do método de Estudo Avaliativo, possibilitando, através de testes de usabilidade e acessibilidade, complementados com entrevistas, compreender se o serviço prototipado ia efetivamente ao encontro das necessidades deste tipo de utilizadores, tendo-se observado que os participantes que estiveram envolvidos nos testes ao protótipo mostraram-se satisfeitos com as funcionalidades oferecidas pelo sistema, bem como com o design da sua interface.