Grounding human vocabulary in robot perception through interaction

This thesis addresses the problem of word learning in computational agents. The motivation behind this work lies in the need to support language-based communication between service robots and their human users, as well as grounded reasoning using symbols relevant for the assigned tasks. The research focuses on the problem of grounding human vocabulary in robotic agent’s sensori-motor perception. Words have to be grounded in bodily experiences, which emphasizes the role of appropriate embodiments. On the other hand, language is a cultural product created and acquired through social interactions. This emphasizes the role of society as a source of linguistic input. Taking these aspects into account, an experimental scenario is set up where a human instructor teaches a robotic agent the names of the objects present in a visually shared environment. The agent grounds the names of these objects in visual perception. Word learning is an open-ended problem. Therefore, the learning architecture of the agent will have to be able to acquire words and categories in an openended manner. In this work, four learning architectures were designed that can be used by robotic agents for long-term and open-ended word and category acquisition. The learning methods used in these architectures are designed for incrementally scaling-up to larger sets of words and categories. A novel experimental evaluation methodology, that takes into account the openended nature of word learning, is proposed and applied. This methodology is based on the realization that a robot’s vocabulary will be limited by its discriminatory capacity which, in turn, depends on its sensors and perceptual capabilities. An extensive set of systematic experiments, in multiple experimental settings, was carried out to thoroughly evaluate the described learning approaches. The results indicate that all approaches were able to incrementally acquire new words and categories. Although some of the approaches could not scale-up to larger vocabularies, one approach was shown to learn up to 293 categories, with potential for learning many more.

Spatial hearing and sound perception in musical composition

This thesis explores the possibilities of spatial hearing in relation to sound perception, and presents three acousmatic compositions based on a musical aesthetic that emphasizes this relation in musical discourse. The first important characteristic of these compositions is the exclusive use of sine waves and other time invariant sound signals. Even though these types of sound signals present no variations in time, it is possible to perceive pitch, loudness, and tone color variations as soon as they move in space due to acoustic processes involved in spatial hearing. To emphasize the perception of such variations, this thesis proposes to divide a tone in multiple sound units and spread them in space using several loudspeakers arranged around the listener. In addition to the perception of sound attribute variations, it is also possible to create rhythm and texture variations that depend on how sound units are arranged in space. This strategy permits to overcome the so called "sound surrogacy" implicit in acousmatic music, as it is possible to establish cause-effect relations between sound movement and the perception of sound attribute, rhythm, and texture variations. Another important consequence of using sound fragmentation together with sound spatialization is the possibility to produce diffuse sound fields independently from the levels of reverberation of the room, and to create sound spaces with a certain spatial depth without using any kind of artificial sound delay or reverberation.

Perception and software architecture for mobile robotics

When developing software for autonomous mobile robots, one has to inevitably tackle some kind of perception. Moreover, when dealing with agents that possess some level of reasoning for executing their actions, there is the need to model the environment and the robot internal state in a way that it represents the scenario in which the robot operates. Inserted in the ATRI group, part of the IEETA research unit at Aveiro University, this work uses two of the projects of the group as test bed, particularly in the scenario of robotic soccer with real robots. With the main objective of developing algorithms for sensor and information fusion that could be used e ectively on these teams, several state of the art approaches were studied, implemented and adapted to each of the robot types. Within the MSL RoboCup team CAMBADA, the main focus was the perception of ball and obstacles, with the creation of models capable of providing extended information so that the reasoning of the robot can be ever more e ective. To achieve it, several methodologies were analyzed, implemented, compared and improved. Concerning the ball, an analysis of ltering methodologies for stabilization of its position and estimation of its velocity was performed. Also, with the goal keeper in mind, work has been done to provide it with information of aerial balls. As for obstacles, a new de nition of the way they are perceived by the vision and the type of information provided was created, as well as a methodology for identifying which of the obstacles are team mates. Also, a tracking algorithm was developed, which ultimately assigned each of the obstacles a unique identi er. Associated with the improvement of the obstacles perception, a new algorithm of estimating reactive obstacle avoidance was created. In the context of the SPL RoboCup team Portuguese Team, besides the inevitable adaptation of many of the algorithms already developed for sensor and information fusion and considering that it was recently created, the objective was to create a sustainable software architecture that could be the base for future modular development. The software architecture created is based on a series of di erent processes and the means of communication among them. All processes were created or adapted for the new architecture and a base set of roles and behaviors was de ned during this work to achieve a base functional framework. In terms of perception, the main focus was to de ne a projection model and camera pose extraction that could provide information in metric coordinates. The second main objective was to adapt the CAMBADA localization algorithm to work on the NAO robots, considering all the limitations it presents when comparing to the MSL team, especially in terms of computational resources. A set of support tools were developed or improved in order to support the test and development in both teams. In general, the work developed during this thesis improved the performance of the teams during play and also the e ectiveness of the developers team when in development and test phases.

Editorial: Facing the Other: Novel Theories and Methods in Face Perception Research

The Editorial on the Research Topic: Facing the Other: Novel Theories and Methods in Face Perception Research

More than just a problem with faces: Altered body perception in a group of congenital prosopagnosics

It has been estimated that one out of forty people in the general population suffer from congenital prosopagnosia (CP), a neurodevelopmental disorder characterized by difficulty identifying people by their faces. CP involves impairment in recognising faces, although the perception of non-face stimuli may also be impaired. Given that social interaction does not only depend on face processing, but also the processing of bodies, it is of theoretical importance to ascertain whether CP is also characterised by body perception impairments. Here, we tested eleven CPs and eleven matched control participants on the Body Identity Recognition Task (BIRT), a forced-choice match-to-sample task, using stimuli that require processing of body, not clothing, specific features. Results indicated that the group of CPs was as accurate as controls on the BIRT, which is in line with the lack of body perception complaints by CPs. However the CPs were slower than controls, and when accuracy and response times were combined into inverse efficiency scores (IES), the group of CPs were impaired, suggesting that the CPs could be using more effortful cognitive mechanisms to be as accurate as controls. In conclusion, our findings demonstrate CP may not generally be limited to face processing difficulties, but may also extend to body perception

Brightness perception: one simple model explaines most if not all effects

Few models can explain Mach bands (Pessoa, 1996 Vision Research 36 3205-3227) . Our own employs multiscale line and edge coding by simple and complex cells. Lines are interpreted by Gaussian functions, edges by bipolar, Gaussian-truncated errorfunctions. Widths of these functions are coupled to the scales of the underlying cells and the amplitudes are determined by their responses.

Looking through the eyes of the painter: from visual perception to non-photorealistic rendering

In this paper we present a brief overview of the processing in the primary visual cortex, the multi-scale line/edge and keypoint representations, and a model of brightness perception. This model, which is being extended from 1D to 2D, is based on a symbolic line and edge interpretation: lines are represented by scaled Gaussians and edges by scaled, Gaussian-windowed error functions. We show that this model, in combination with standard techniques from graphics, provides a very fertile basis for non-photorealistic image rendering.

Perception-based painterly rendering: funcionality and interface design

Painterly rendering (non-photorealistic rendering or NPR) aims at translating photographs into paintings with discrete brush strokes, simulating certain techniques (im- or expressionism) and media (oil or watercolour). Recently, our research into visual perception and models of processes in the visual cortex resulted in a new rendering scheme, in which detected lines and edges at different scales are translated into brush strokes of different sizes. In order to prepare a version which is suitable for many users, including children, the design of the interface in terms of window and menu system is very important. Discussions with artists and non-artists led to three design criteria: (1) the interface must reflect the procedures and possibilities that real painters follow and use, (2) it must be based on only one window, and (3) the menu system must be very simple, avoiding a jungle of menus and sub-menus. This paper explains the interface that has been developed.

La perception d'enseignantes et d'enseignants du secondaire des caractéristiques personnelles en jeu dans leur façon d'être en relation éducative

Cette étude qualitative vise à mieux comprendre la perception qu'ont des enseignantes et des enseignants québécois de leurs caractéristiques personnelles en jeu dans leur façon d'être en relation éducative. Tant dans le milieu pratique que dans les écrits scientifiques, on reconnaît l'incidence de ce que l'enseignant est personnellement sur la relation qu'il vit avec ses élèves. Or, les écrits sont peu éclairants quant à la perception que peuvent avoir les enseignants eux-mêmes du phénomène. Les résultats révèlent deux types de caractéristiques personnelles participant à leur façon d'être en relation éducative: celles qui sont individuelles ou de base, qui caractérisent les enseignants depuis toujours, et qui sont peu sujettes à changement; et celles qui sont liées au vécu professionnel, qui peuvent changer avec l'expérience professionnelle et personnelle. Selon le discours des enseignants, on assisterait à un phénomène d'intégration de ses dimensions personnelles et professionnelles, advenant avec l'âge et l'expérience.

La perception de l'élève de la qualité de sa relation avec l'enseignant et le risque de décrochage scolaire

Ce mémoire traite du lien entre la qualité de la relation élève-enseignant, le risque de décrochage scolaire et le sexe des élèves à partir de la perception de 375 garçons et 381 filles de deuxième secondaire de la région de l'Estrie. Parmi eux, 309 étaient considérés à risque et 447 ne l'étaient pas. Les résultats de l'analyse de covariance multivariée indiquent que les élèves à risque perçoivent plus négativement la relation avec leur enseignant que les élèves non à risque. En effet, les élèves à risque de décrochage manifestent des attitudes plus négatives envers leur enseignant, rapportent être moins engagés, perçoivent moins de soutien de leur enseignant, d'ordre et d'organisation en classe et considèrent que les règlements sont moins clairs que leurs pairs non à risque. De plus, les filles considèrent que les règlements sont plus clairs et qu'elles manifestent des attitudes moins négatives envers leur enseignant que les garçons.

Image morphology: from perception to rendering

Complete image ontology can be obtained by formalising a top-down meta-language wich must address all possibilities, from global message and composition to objects and local surface properties.

Choix scolaires, perception de la valeur des études et relations sociales de jeunes québécois au postsecondaire : une analyse qualitative longitudinale

La recherche s'intéresse à la valeur accordée aux études par les jeunes québécois de niveau postsecondaire en se basant sur le modèle de type attente-valeur d'Eccles (2007). La perception de la valeur correspond à un jugement posé sur les études, le programme ou le cours au regard de quatre composantes : intérêt, utilité, valeur de réalisation et cout. L'objectif général de la thèse est de mieux comprendre la dynamique entourant les choix scolaires des jeunes québécois de niveau postsecondaire à l'aide du concept de perception de la valeur des études et de ses composantes. Deux objectifs spécifiques en découlent: 1. Décrire les composantes de la perception de la valeur et leur dynamique, en distinguant la perception de la valeur des études en général (le fait d'étudier), d'un programme ou d'un cours et en reliant la perception de la valeur aux choix scolaires des jeunes; 2. Identifier et décrire le lien entre les relations sociales et la perception de la valeur des études. Une analyse secondaire a été menée sur 185 entretiens semi-dirigés réalisés auprès de 36 jeunes sur une période d'environ 5 ans (données de la recherche Famille, réseaux et persévérance au collégial, de Bourdon et Charbonneau). Les résultats valident largement le modèle et les définitions d'Eccles (2007), mais remettent en question certains aspects, en particulier autour des composantes utilité, réalisation et cout. Des aspects dynamiques de la perception de la valeur par ailleurs ont été mis en évidence. Les relations sociales - parents et pairs notamment - peuvent agir, selon différentes modalités, sur la perception de la valeur des études. Le personnel enseignant est mentionné en lien avec la valeur accordée aux cours. Une compréhension plus fine de la valeur accordée aux études, aux programmes et aux cours pourra être réinvestie dans l'organisation scolaire au postsecondaire et dans les pratiques pédagogiques.

Régulation physiologique et perception de stress chez des parents d'enfants diagnostiqués d'un trouble du spectre de l'autisme : la contribution de la présence d'un chien d'assistance et des représentations associées à l'attachement

Les troubles du spectre de l'autisme (TSAR se caractérisent par des altérations au niveau de la réciprocité des interactions sociales, des habiletés de communication verbale et non verbale, ainsi que la présence de comportements et champs d'intérêts stéréotypés. Compte tenu des conclusions décrivant leurs parents comme vivant plus de stress comparativement aux parents d'enfants non diagnostiqués sur le spectre de l'autisme, il devient nécessaire d'offrir un soutien susceptible d'alléger leur quotidien et celui de leur enfant. Le recueil de données sur l'application d'une intervention novatrice qu'est l'intégration permanente d'un chien d'assistance au sein du milieu familial offrirait une contribution considérable basée sur les conclusions des études précédentes. Le modèle conceptuel de la présente étude réfère aux transactions entre la régulation diurne du cortisol, la perception de stress parental, la sévérité des atteintes comportementales de l'enfant ainsi que les représentations d'attachement de la mère. L'approche analytique s'oriente ainsi sur le caractère multidimensionnel des variables et s'intéresse particulièrement aux différences intra-individuelles dans l'adaptation parentale illustrée par l'activité totale de cortisol sur une période de 15 semaines. L'ensemble des données soulève la présence d'une sous-activation de l'axe 1-IPA ainsi qu'une perception de niveaux élevés de stress parental. Suivant une approche centrée sur la personne, les analyses ont permis de dégager deux profils distincts de régulation basés sur l'activité totale de cortisol salivaire. La présence du chien d'assistance au sein de la famille apporte des changements notables décrits par une diminution de la réponse du cortisol au réveil spécifique au sous-groupe de mères ayant un profil de sécrétion supérieur. L'étude apporte une démonstration empirique d'une hétérogénéité des patrons de régulation hormonale issus d'un même échantillon caractérisé par le vécu d'un stress chronique. L'efficacité d'une nouvelle forme d'intervention pouvant soulager les difficultés rencontrées par les parents est discutée selon un point de vue transdisciplinaire.

Perception des cours de philosophie et de littérature chez les élèves de Soins infirmiers : influence de leurs enseignants.

L'objectif général de notre recherche était donc de déterminer l'influence des enseignantes et enseignants de Soins infirmiers sur la perception des élèves à l'égard des cours de philosophie et de littérature. Nous avons utilisé le concept de représentation sociale qui relève de la psychologie sociale, tout indiquée pour étudier l'interaction entre les enseignantes et les enseignants et les élèves. Plus spécifiquement, nous voulions répondre aux trois objectifs suivants : décrire les représentations sociales des élèves de Soins infirmiers concernant les cours de philosophie et de littérature; identifier les propos tenus par les enseignantes et enseignants de Soins infirmiers à leurs élèves au sujet des cours de philosophie et de littérature, tels que ceux-ci les rapportent; déterminer la présence de liens entre les propos tels qu'ils sont rapportés et les représentations sociales des élèves à l'égard de ces cours.