Teoria da mente, linguagem e competências sociais em crianças ao nível pré-escolar

A compreensão dos estados mentais dos outros – Teoria da Mente (TM) – é um processo crucial no desenvolvimento cognitivo e social. A relação entre a Teoria da Mente e a Linguagem tem sido alvo de vários estudos ao longo das últimas décadas (Happé, 1995; de Villiers & Villiers, 2000; Astington, 2001; Ruffman et al., 2002; Lohmann & Tomasello, 2003; Astington & Baird, 2005; Astington & Pelletier, 2005; Farrar et al, 2009). Neste estudo avaliaram-se 229 crianças entre os 3 e os 7 anos que frequentavam jardim-de-infância. Destas 229 crianças, foram constituídos dois grupos, um constituído por crianças com desenvolvimento típico (GN) e outra por crianças com Perturbações da Fala/ Linguagem (GPFL), sendo que neste último foi ainda criado um sub-grupo de crianças com Perturbações Desenvolvimentais da Linguagem (SGPDL). Foi aplicado um teste de avaliação da TM, constituído por três sub-testes (Compreensão de falsas crenças de primeira ordem, crenças e desejos e acesso ao conhecimento) e um teste de avaliação de linguagem (T.A.L.C.) Foi também pedido aos cuidadores o preenchimento de um Questionário de Avaliação das Competências Sociais (Rydell et al., 1997). Verificou-se a existência de uma associação positiva e significativa entre a idade e a TM. Por outro lado, observou-se a presença de uma associação negativa e significativa entre a idade de início de fala e a TM. De uma forma geral, verifica-se que a TM está associada de forma positiva e estatisticamente significativa com os scores da linguagem, sendo esta relação mais forte relativamente aos aspectos relativos às Intenções comunicativas e score total de Expressão e Compreensão da linguagem. Vimos também que as crianças do SGPDL apresentaram scores inferiores ao nível da TM relativamente ao GN. Encontramos diferenças estatisticamente significativas em relação ao tempo de duração da prova de TM entre o GN e o GPFL, tendo estes últimos necessitado de maior tempo de resposta. Relativamente à associação existente entre competências sociais e TM, verificamos que não se encontrou a existência de correlações estatisticamente significativas, excepto para o factor “Altruísmo”. Pensa-se que este aspecto estará relacionado com o facto das competências de TM avaliadas neste estudo não se encontrarem associadas às questões emocionais, as quais constituem um sub-tipo de TM do tipo afectivo, mas antes do sub-tipo cognitivo. Os indivíduos GN apresentaram valores para a “Orientação Pró-Social”, “Iniciação Social” e score Total das Competências Sociais significativamente superiores às crianças do GPFL.

Comunicação humano-robô através de linguagem falada

Nos últimos anos, as tecnologias que dão suporte à robótica avançaram expressivamente. É possível encontrar robôs de serviço nos mais variados campos. O próximo passo é o desenvolvimento de robôs inteligentes, com capacidade de comunicação em linguagem falada e de realizar trabalhos úteis em interação/cooperação com humanos. Torna-se necessário, então, encontrar um modo de interagir eficientemente com esses robôs, e com agentes inteligentes de maneira geral, que permita a transmissão de conhecimento em ambos os sentidos. Partiremos da hipótese de que é possível desenvolver um sistema de diálogo baseado em linguagem natural falada que resolva esse problema. Assim, o objetivo principal deste trabalho é a definição, implementação e avaliação de um sistema de diálogo utilizável na interação baseada em linguagem natural falada entre humanos e agentes inteligentes. Ao longo deste texto, mostraremos os principais aspectos da comunicação por linguagem falada, tanto entre os humanos, como também entre humanos e máquinas. Apresentaremos as principais categorias de sistemas de diálogo, com exemplos de alguns sistemas implementados, assim como ferramentas para desenvolvimento e algumas técnicas de avaliação. A seguir, entre outros aspectos, desenvolveremos os seguintes: a evolução levada a efeito na arquitetura computacional do Carl, robô utilizado neste trabalho; o módulo de aquisição e gestão de conhecimento, desenvolvido para dar suporte à interação; e o novo gestor de diálogo, baseado na abordagem de “Estado da Informação”, também concebido e implementado no âmbito desta tese. Por fim, uma avaliação experimental envolvendo a realização de diversas tarefas de interação com vários participantes voluntários demonstrou ser possível interagir com o robô e realizar as tarefas solicitadas. Este trabalho experimental incluiu avaliação parcial de funcionalidades, avaliação global do sistema de diálogo e avaliação de usabilidade.

Grounding human vocabulary in robot perception through interaction

This thesis addresses the problem of word learning in computational agents. The motivation behind this work lies in the need to support language-based communication between service robots and their human users, as well as grounded reasoning using symbols relevant for the assigned tasks. The research focuses on the problem of grounding human vocabulary in robotic agent’s sensori-motor perception. Words have to be grounded in bodily experiences, which emphasizes the role of appropriate embodiments. On the other hand, language is a cultural product created and acquired through social interactions. This emphasizes the role of society as a source of linguistic input. Taking these aspects into account, an experimental scenario is set up where a human instructor teaches a robotic agent the names of the objects present in a visually shared environment. The agent grounds the names of these objects in visual perception. Word learning is an open-ended problem. Therefore, the learning architecture of the agent will have to be able to acquire words and categories in an openended manner. In this work, four learning architectures were designed that can be used by robotic agents for long-term and open-ended word and category acquisition. The learning methods used in these architectures are designed for incrementally scaling-up to larger sets of words and categories. A novel experimental evaluation methodology, that takes into account the openended nature of word learning, is proposed and applied. This methodology is based on the realization that a robot’s vocabulary will be limited by its discriminatory capacity which, in turn, depends on its sensors and perceptual capabilities. An extensive set of systematic experiments, in multiple experimental settings, was carried out to thoroughly evaluate the described learning approaches. The results indicate that all approaches were able to incrementally acquire new words and categories. Although some of the approaches could not scale-up to larger vocabularies, one approach was shown to learn up to 293 categories, with potential for learning many more.

Promoção da acessibilidade em televisão interativa (iTV) : proposta de um serviço adaptado a utilizadores com défice visual

As infraestruturas de televisão interativa atualmente existentes possibilitam a integração de uma grande variedade de recursos e serviços, possibilitando aos utilizadores novas experiências de interação e participação. Para a maioria dos telespetadores, o uso de serviços interativos não acarreta grandes dificuldades; no entanto, para públicos com necessidades especiais, por exemplo para pessoas com défice visual, essa tarefa torna-se complexa, dificultando, ou mesmo impedindo, que estes utilizadores possam beneficiar deste tipo de serviços. Portugal não é uma exceção neste contexto, existindo um número significativo de utilizadores com défice visual (UDV) que não beneficiam totalmente das potencialidades do paradigma televisivo atual. Neste âmbito, o projeto de investigação que suporta esta tese explora a problemática do Design Universal aplicado à Televisão Interativa (iTV) e tem como objetivos a conceptualização, prototipagem e validação de um serviço de iTV adaptado especificamente a UDV, visando promover a sua inclusão digital. Para cumprir estes objetivos, a investigação dividiu-se em três etapas distintas. Na primeira etapa, a partir da Teoria Fundamentada nos Dados, foram identificadas as dificuldades e necessidades dos UDV enquanto consumidores de conteúdos televisivos e serviços de audiodescrição; foi selecionada a plataforma tecnológica mais adequada para o suporte do serviço prototipado; e foi definido um conjunto de princípios orientadores de design (POD’s) de interfaces de televisão interativa específico para este público-alvo. Inicialmente foram efetuadas duas entrevistas a 20 participantes com défice visual, para determinar as suas dificuldades e necessidades enquanto consumidores de conteúdos televisivos e serviços de audiodescrição. De seguida, foi realizada uma entrevista a um perito responsável pelo processo de transição para a TDT em Portugal (inicialmente considerou-se que a TDT seria uma plataforma promissora e poderia suportar o protótipo) e efetuada a revisão da literatura sobre POD’s para o desenvolvimento de interfaces para serviços iTV dirigidos a pessoas com défice visual. A partir dos resultados obtidos nesta etapa foi possível definir os requisitos funcionais e técnicos do sistema, bem como os seus PODs, tanto ao nível da componente gráfica, como de interação. Na segunda etapa foi concetualizado e desenvolvido o protótipo iTV adaptado a UDV ‘meo ad+’, com recurso à plataforma tecnológica IPTV da Portugal Telecom, seguindo os requisitos e os princípios de design definidos. Relativamente à terceira etapa, esta contemplou a avaliação do serviço prototipado, por parte de um grupo de participantes com défice visual. Esta fase do trabalho foi conduzida através do método de Estudo Avaliativo, possibilitando, através de testes de usabilidade e acessibilidade, complementados com entrevistas, compreender se o serviço prototipado ia efetivamente ao encontro das necessidades deste tipo de utilizadores, tendo-se observado que os participantes que estiveram envolvidos nos testes ao protótipo mostraram-se satisfeitos com as funcionalidades oferecidas pelo sistema, bem como com o design da sua interface.

Strength of visual percept generated by famous faces perceived without awareness: effects of affective valence, response latency, and visual field

Participants who were unable to detect familiarity from masked 17 ms faces ([Stone and Valentine, 2004] and [Stone and Valentine, in press-b]) did report a vague, partial visual percept. Two experiments investigated the relative strength of the visual percept generated by famous and unfamiliar faces, using masked 17 ms exposure. Each trial presented simultaneously a famous and an unfamiliar face, one face in LVF and the other in RVF. In one task, participants responded according to which of the faces generated the stronger visual percept, and in the other task, they attempted an explicit familiarity decision. The relative strength of the visual percept of the famous face compared to the unfamiliar face was moderated by response latency and participants’ attitude towards the famous person. There was also an interaction of visual field with response latency, suggesting that the right hemisphere can generate a visual percept differentiating famous from unfamiliar faces more rapidly than the left hemisphere. Participants were at chance in the explicit familiarity decision, confirming the absence of awareness of facial familiarity.

Narrative Personae and Visual Signs: Reading Leonard’s intimate photo-memoir. a/b: Auto/Biography Studies.

: In this paper, I look at Joanne Leonard’s Being in Pictures and engage in a critical dialogue with an assemblage of visual and textual narratives that comprise her intimate photo memoir. In doing this I draw on Hannah Arendt’s take on narratives as tangible traces of uniqueness and plurality, political traits par excellence in the cultural histories of the human condition. Being aware of my role as a reader/viewer/interpreter of a woman artist’s auto/biographical narratives, I move beyond dilemmas of representation or questions of unveiling “the real Leonard”. The artist is instead configured as a narrative persona, whose narratives respond to three interrelated themes of inquiry, namely the visualization of spatial technologies, vulnerability and the gendering of memory. Key words: gendered memories, narrative persona, spatial technologies, photo memoir, vulnerability

Beyond visual imagery: How modality-specific is enhanced mental imagery in synesthesia?

Synesthesia based in visual modalities has been associated with reports of vivid visual imagery. We extend this finding to consider whether other forms of synesthesia are also associated with enhanced imagery, and whether this enhancement reflects the modality of synesthesia. We used self‐report imagery measures across multiple sensory modalities, comparing synesthetes’ responses (with a variety of forms of synesthesia) to those of nonsynesthete matched controls. Synesthetes reported higher levels of visual, auditory, gustatory, olfactory and tactile imagery and a greater level of imagery use. Furthermore, their reported enhanced imagery is restricted to the modalities involved in the individual’s synesthesia. There was also a relationship between the number of forms of synesthesia an individual has, and the reported vividness of their imagery, highlighting the need for future research to consider the impact of multiple forms of synesthesia. We also recommend the use of behavioral measures to validate these self‐report findings.

Time in Perspective: a visual approach to models of time

Geographical representations of topographical space come in many shapes and are a regular topic of discussion. The depiction of the invisible and maybe even illusory concept of time on the other hand, remains largely unchanged and undisputed. A uniform and arithmetic model of time fits well with the rigid structure of digital data, which might be why it has been widely adopted within HCI. In our proposal, we will present historic and contemporary approaches that offer alternative perspectives on the visual representation of time. Keywords: timeline, chronographics

Improved line/edge detection and visual reconstruction

Lines and edges provide important information for object categorization and recognition. In addition, one brightness model is based on a symbolic interpretation of the cortical multi-scale line/edge representation. In this paper we present an improved scheme for line/edge extraction from simple and complex cells and we illustrate the multi-scale representation. This representation can be used for visual reconstruction, but also for nonphotorealistic rendering. Together with keypoints and a new model of disparity estimation, a 3D wireframe representation of e.g. faces can be obtained in the future.

Looking through the eyes of the painter: from visual perception to non-photorealistic rendering

In this paper we present a brief overview of the processing in the primary visual cortex, the multi-scale line/edge and keypoint representations, and a model of brightness perception. This model, which is being extended from 1D to 2D, is based on a symbolic line and edge interpretation: lines are represented by scaled Gaussians and edges by scaled, Gaussian-windowed error functions. We show that this model, in combination with standard techniques from graphics, provides a very fertile basis for non-photorealistic image rendering.

Artistic rendering of the visual cortex

In this paper we explain the processing in the first layers of the visual cortex by simple, complex and endstopped cells, plus grouping cells for line, edge, keypoint and saliency detection. Three visualisations are presented: (a) an integrated scheme that shows activities of simple, complex and end-stopped cells, (b) artistic combinations of selected activity maps that give an impression of global image structure and/or local detail, and (c) NPR on the basis of a 2D brightness model. The cortical image representations offer many possibilities for non-photorealistic rendering.

Visual cortex frontend: integrating lines, edges, keypoints and disparaty

We present a 3D representation that is based on the pro- cessing in the visual cortex by simple, complex and end-stopped cells. We improved multiscale methods for line/edge and keypoint detection, including a method for obtaining vertex structure (i.e. T, L, K etc). We also describe a new disparity model. The latter allows to attribute depth to detected lines, edges and keypoints, i.e., the integration results in a 3D \wire-frame" representation suitable for object recognition.

Correlates of facial expressions in the primary visual cortex

Face detection and recognition should be complemented by recognition of facial expression, for example for social robots which must react to human emotions. Our framework is based on two multi-scale representations in cortical area V1: keypoints at eyes, nose and mouth are grouped for face detection [1]; lines and edges provide information for face recognition [2].

Local object gist: meaningful shapes and spatial layout at a very early stage of visual processing

In his introduction, Pinna (2010) quoted one of Wertheimer’s observations: “I stand at the window and see a house, trees, sky. Theoretically I might say there were 327 brightnesses and nuances of color. Do I have ‘327’? No. I have sky, house, and trees.” This seems quite remarkable, for Max Wertheimer, together with Kurt Koffka and Wolfgang Koehler, was a pioneer of Gestalt Theory: perceptual organisation was tackled considering grouping rules of line and edge elements in relation to figure-ground segregation, i.e., a meaningful object (the figure) as perceived against a complex background (the ground). At the lowest level – line and edge elements – Wertheimer (1923) himself formulated grouping principles on the basis of proximity, good continuation, convexity, symmetry and, often forgotten, past experience of the observer. Rubin (1921) formulated rules for figure-ground segregation using surroundedness, size and orientation, but also convexity and symmetry. Almost a century of research into Gestalt later, Pinna and Reeves (2006) introduced the notion of figurality, meant to represent the integrated set of properties of visual objects, from the principles of grouping and figure-ground to the colour and volume of objects with shading. Pinna, in 2010, went one important step further and studied perceptual meaning, i.e., the interpretation of complex figures on the basis of past experience of the observer. Re-establishing a link to Wertheimer’s rule about past experience, he formulated five propositions, three definitions and seven properties on the basis of observations made on graphically manipulated patterns. For example, he introduced the illusion of meaning by comics-like elements suggesting wind, therefore inducing a learned interpretation. His last figure shows a regular array of squares but with irregular positions on the right side. This pile of (ir)regular squares can be interpreted as the result of an earthquake which destroyed part of an apartment block. This is much more intuitive, direct and economic than describing the complexity of the array of squares.

Processamento de emoções realizado por sujeitos com traumatismo crânio-encefálico

Tese de dout., Psicologia, Faculdade de Ciências Humanas e Sociais, Univ. do Algarve, 2010