Grounding human vocabulary in robot perception through interaction

This thesis addresses the problem of word learning in computational agents. The motivation behind this work lies in the need to support language-based communication between service robots and their human users, as well as grounded reasoning using symbols relevant for the assigned tasks. The research focuses on the problem of grounding human vocabulary in robotic agent’s sensori-motor perception. Words have to be grounded in bodily experiences, which emphasizes the role of appropriate embodiments. On the other hand, language is a cultural product created and acquired through social interactions. This emphasizes the role of society as a source of linguistic input. Taking these aspects into account, an experimental scenario is set up where a human instructor teaches a robotic agent the names of the objects present in a visually shared environment. The agent grounds the names of these objects in visual perception. Word learning is an open-ended problem. Therefore, the learning architecture of the agent will have to be able to acquire words and categories in an openended manner. In this work, four learning architectures were designed that can be used by robotic agents for long-term and open-ended word and category acquisition. The learning methods used in these architectures are designed for incrementally scaling-up to larger sets of words and categories. A novel experimental evaluation methodology, that takes into account the openended nature of word learning, is proposed and applied. This methodology is based on the realization that a robot’s vocabulary will be limited by its discriminatory capacity which, in turn, depends on its sensors and perceptual capabilities. An extensive set of systematic experiments, in multiple experimental settings, was carried out to thoroughly evaluate the described learning approaches. The results indicate that all approaches were able to incrementally acquire new words and categories. Although some of the approaches could not scale-up to larger vocabularies, one approach was shown to learn up to 293 categories, with potential for learning many more.

Perceção de emoções no canto: a importância dos estímulos auditivo e visual

Este estudo pretendeu examinar a importância dos estímulos auditivo (interpre-tação vocal do cantor) e visual (expressão facial do cantor) na perceção de emo-ções pelo público de uma performance de canto. Para tal, foram gravados, atra-vés de vídeo e áudio, dois cantores a interpretar pequenas frases melódicas com a intenção de expressar, isoladamente, as seis emoções básicas: alegria, tristeza, raiva, medo, surpresa e nojo. Para validar a expressividade dos canto-res, foi medida, através de eletromiografia, a atividade dos músculos faciais du-rante a performance da emoção e foram apresentadas as gravações áudio a um painel de especialistas que as caracterizaram em termos acústicos. Com base nas gravações audiovisuais dos cantores, foi criado um teste percetual no qual se pretendia que o ouvinte reconhecesse a emoção comunicada a partir apenas do áudio, apenas do vídeo, ou ambos. Comparando as respostas dadas, os re-sultados evidenciaram que o estímulo visual é mais eficaz do que o auditivo, e que a junção dos dois estímulos é a modalidade mais eficiente na perceção de emoções pelo público de uma performance de canto.

A eficácia da identidade visual do Novo Banco na perceção e associações semânticas à marca

A presente dissertação, no âmbito do mestrado de Línguas e Relações Empresariais, tem como objetivo aferir a perceção do público relativamente à identidade visual do Novo Banco, de modo a compreender se esta atuou eficazmente enquanto instrumento de comunicação no pós crise da instituição. Esta eficácia prende-se com a capacidade da identidade visual influenciar positivamente uma marca, promovendo o seu reconhecimento e visibilidade, bem como a diferenciação e o posicionamento positivo na mente do público. O processo de desmantelamento do Banco Espírito Santo, e posterior surgimento do Novo Banco, encontra-se associado a uma forte carga emocional. Por isso, com a intenção de avaliar com maior exactidão o impacto desta carga emocional inerente ao Novo Banco, foram estudadas, também, associações semânticas à marca, reveladoras do significado afetivo do público relativamente à organização. Para o cumprimento objetivo, foram delineadas bases contextuais e teóricas, que levaram à aplicação de um questionário que visou a obtenção de dados relativos, precisamente, à perceção do público geral. Os resultados sugerem que a identidade visual não foi uma resposta suficientemente eficaz dado que determinados componentes que a constituem não oferecem uma interpretação clara do que significam, originando baixos níveis de concordância. Contudo, os resultados mostram, ainda, que grande parte desta ineficácia deriva das consequências da crise no Banco Espírito Santo, ainda muito presentes na mente do público.