Reactive reaching and grasping on a humanoid: Towards closing the action-perception loop on the iCub

We propose a system incorporating a tight integration between computer vision and robot control modules on a complex, high-DOF humanoid robot. Its functionality is showcased by having our iCub humanoid robot pick-up objects from a table in front of it. An important feature is that the system can avoid obstacles - other objects detected in the visual stream - while reaching for the intended target object. Our integration also allows for non-static environments, i.e. the reaching is adapted on-the-fly from the visual feedback received, e.g. when an obstacle is moved into the trajectory. Furthermore we show that this system can be used both in autonomous and tele-operation scenarios.

Action preparation helps and hinders perception of action.

Several theories of the mechanisms linking perception and action require that the links are bidirectional, but there is a lack of consensus on the effects that action has on perception. We investigated this by measuring visual event-related brain potentials to observed hand actions while participants prepared responses that were spatially compatible (e.g., both were on the left side of the body) or incompatible and action type compatible (e.g., both were finger taps) or incompatible, with observed actions. An early enhanced processing of spatially compatible stimuli was observed, which is likely due to spatial attention. This was followed by an attenuation of processing for both spatially and action type compatible stimuli, likely to be driven by efference copy signals that attenuate processing of predicted sensory consequences of actions. Attenuation was not response-modality specific; it was found for manual stimuli when participants prepared manual and vocal responses, in line with the hypothesis that action control is hierarchically organized. These results indicate that spatial attention and forward model prediction mechanisms have opposite, but temporally distinct, effects on perception. This hypothesis can explain the inconsistency of recent findings on action-perception links and thereby supports the view that sensorimotor links are bidirectional. Such effects of action on perception are likely to be crucial, not only for the control of our own actions but also in sociocultural interaction, allowing us to predict the reactions of others to our own actions.

Action and perception: Neural indices of learning in infants

Early human development offers a unique perspective in investigating the potential cognitive and social implications of action and perception. Specifically, during infancy, action production and action perception undergo foundational developments. One essential component to examine developments in action processing is the analysis of others’ actions as meaningful and goal-directed. Little research, however, has examined the underlying neural systems that may be associated with emerging action and perception abilities, and infants’ learning of goal-directed actions. The current study examines the mu rhythm—a brain oscillation found in the electroencephalogram (EEG)—that has been associated with action and perception. Specifically, the present work investigates whether the mu signal is related to 9-month-olds’ learning of a novel goal-directed means-end task. The findings of this study demonstrate a relation between variations in mu rhythm activity and infants’ ability to learn a novel goal-directed means-end action task (compared to a visual pattern learning task used as a comparison task). Additionally, we examined the relations between standardized assessments of early motor competence, infants’ ability to learn a novel goal-directed task, and mu rhythm activity. We found that: 1a) mu rhythm activity during observation of a grasp uniquely predicted infants’ learning on the cane training task, 1b) mu rhythm activity during observation and execution of a grasp did not uniquely predict infants’ learning on the visual pattern learning task (comparison learning task), 2) infants’ motor competence did not predict infants’ learning on the cane training task, 3) mu rhythm activity during observation and execution was not related to infants’ measure of motor competence, and 4) mu rhythm activity did not predict infants’ learning on the cane task above and beyond infants’ motor competence. The results from this study demonstrate that mu rhythm activity is a sensitive measure to detect individual differences in infants’ action and perception abilities, specifically their learning of a novel goal-directed action.

Quand l’action surpasse la perception : rôle de la vision et de la proprioception dans la perception et le contrôle en temps réel de l’orientation spatiale de la main

Cette recherche a pour but d’évaluer le rôle de la vision et de la proprioception pour la perception et le contrôle de l’orientation spatiale de la main chez l’humain. L’orientation spatiale de la main est une composante importante des mouvements d’atteinte et de saisie. Toutefois, peu d’attention a été portée à l’étude de l’orientation spatiale de la main dans la littérature. À notre connaissance, cette étude est la première à évaluer spécifiquement l’influence des informations sensorielles et de l’expérience visuelle pour la perception et le contrôle en temps réel de l'orientation spatiale de la main pendant le mouvement d’atteinte naturel vers une cible stationnaire. Le premier objectif était d’étudier la contribution de la vision et de la proprioception dans des tâches de perception et de mouvement d’orientation de la main. Dans la tâche de perception (orientation-matching task), les sujets devaient passivement ou activement aligner une poignée de forme rectangulaire avec une cible fixée dans différentes orientations. Les rotations de l’avant-bras et du poignet étaient soit imposées par l’expérimentateur, soit effectuées par les sujets. Dans la tâche de mouvement d’orientation et d’atteinte simultanées (letter posting task 1), les sujets ont réalisé des mouvements d’atteinte et de rotation simultanées de la main afin d’insérer la poignée rectangulaire dans une fente fixée dans les mêmes orientations. Les tâches ont été réalisées dans différentes conditions sensorielles où l’information visuelle de la cible et de la main était manipulée. Dans la tâche perceptive, une augmentation des erreurs d’orientation de la main a été observée avec le retrait des informations visuelles concernant la cible et/ou ou la main. Lorsque la vision de la main n’était pas permise, il a généralement été observé que les erreurs d’orientation de la main augmentaient avec le degré de rotation nécessaire pour aligner la main et la cible. Dans la tâche de mouvement d’orientation et d’atteinte simultanées, les erreurs ont également augmenté avec le retrait des informations visuelles. Toutefois, les patrons d’erreurs étaient différents de ceux observés dans la tâche de perception, et les erreurs d’orientation n’ont pas augmenté avec le degré de rotation nécessaire pour insérer la poignée dans la fente. En absence de vision de la main, il a été observé que les erreurs d’orientation étaient plus petites dans la tâche de mouvement que de perception, suggérant l’implication de la proprioception pour le contrôle de l’orientation spatiale de la main lors des mouvements d’orientation et d’atteinte simultanées. Le deuxième objectif de cette recherche était d’étudier l’influence de la vision et de la proprioception dans le contrôle en temps réel de l’orientation spatiale de la main. Dans une tâche d’orientation de la main suivie d’une atteinte manuelle (letter posting task 2), les sujets devaient d’abord aligner l’orientation de la même poignée avec la fente fixée dans les mêmes orientations, puis réaliser un mouvement d’atteinte sans modifier l’orientation initiale de la main. Une augmentation des erreurs initiales et finales a été observée avec le retrait des informations visuelles. Malgré la consigne de ne pas changer l’orientation initiale de la main, une diminution des erreurs d’orientation a généralement été observée suite au mouvement d’atteinte, dans toutes les conditions sensorielles testées. Cette tendance n’a pas été observée lorsqu’aucune cible explicite n’était présentée et que les sujets devaient conserver l’orientation de départ de la main pendant le mouvement d’atteinte (mouvement intransitif; letter-posting task 3). La diminution des erreurs pendant l’atteinte manuelle transitive vers une cible explicite (letter-posting task 2), malgré la consigne de ne pas changer l’orientation de la main pendant le mouvement, suggère un mécanisme de corrections automatiques pour le contrôle en temps réel de l’orientation spatiale de la main pendant le mouvement d’atteinte naturel vers une cible stationnaire. Le troisième objectif de cette recherche était d’évaluer la contribution de l’expérience visuelle pour la perception et le contrôle de l’orientation spatiale de la main. Des sujets aveugles ont été testés dans les mêmes tâches de perception et de mouvement. De manière générale, les sujets aveugles ont présenté les mêmes tendances que les sujets voyants testés dans la condition proprioceptive (sans vision), suggérant que l’expérience visuelle n’est pas nécessaire pour le développement d’un mécanisme de correction en temps réel de l’orientation spatiale de la main basé sur la proprioception.

Neurocognitive control in dance perception and performance

Dance is a rich source of material for researchers interested in the integration of movement and cognition. The multiple aspects of embodied cognition involved in performing and perceiving dance have inspired scientists to use dance as a means for studying motor control, expertise, and action-perception links. The aim of this review is to present basic research on cognitive and neural processes implicated in the execution, expression, and observation of dance, and to bring into relief contemporary issues and open research questions. The review addresses six topics: 1) dancers’ exemplary motor control, in terms of postural control, equilibrium maintenance, and stabilization; 2) how dancers’ timing and on-line synchronization are influenced by attention demands and motor experience; 3) the critical roles played by sequence learning and memory; 4) how dancers make strategic use of visual and motor imagery; 5) the insights into the neural coupling between action and perception yielded through exploration of the brain architecture mediating dance observation; and 6) a neuroaesthetics perspective that sheds new light on the way audiences perceive and evaluate dance expression. Current and emerging issues are presented regarding future directions that will facilitate the ongoing dialogue between science and dance.

Infants' Understanding of Object Weight: Relations with Action Experience and Strength

Thesis (Ph.D.)--University of Washington, 2016-06

The functional subdivision of the visual brain : Is there a real illusion effect on action? A multi-lab replication study

Acknowledgements We thank Brian Roberts and Mike Harris for responding to our questions regarding their paper; Zoltan Dienes for advice on Bayes factors; Denise Fischer, Melanie Römer, Ioana Stanciu, Aleksandra Romanczuk, Stefano Uccelli, Nuria Martos Sánchez, and Rosa María Beño Ruiz de la Sierra for help collecting data; Eva Viviani for managing data collection in Parma. We thank Maurizio Gentilucci for letting us use his lab, and the Centro Intradipartimentale Mente e Cervello (CIMeC), University of Trento, and especially Francesco Pavani for lending us his motion tracking equipment. We thank Rachel Foster for proofreading. KKK was supported by a Ph.D. scholarship as part of a grant to VHF within the International Graduate Research Training Group on Cross-Modal Interaction in Natural and Artificial Cognitive Systems (CINACS; DFG IKG-1247) and TS by a grant (DFG – SCHE 735/3-1); both from the German Research Council.

Interacting constraints shape emergent decision-making of referees

How and why football referees made decisions was investigated. A constructivist grounded theory methodology was undertaken to tap into the experiential knowledge of referees. The participant cohort comprised 7 A-League referees (aged 23 to 35) and 8 local Brisbane league referees (aged 20 to 50), spanning the lowest to highest levels of competition in men’s football in Australia. Results found that referees used ‘four pillars’ to underpin their judgments, these were conceptual notions of: safety, fairness, accuracy and entertainment. A fifth pillar ‘consistency’ referred to the referee’s ‘contextual sensitivity’. Results were explained using an ecological dynamics framework that emphasises the individual-environment scale of analysis. It was concluded that interacting constraints shape emergent decision-making in referees which are nested in task goals.

Auditory observation of stepping actions can cue both spatial and temporal components of gait in Parkinson's disease patients

Objectives: A common behavioural symptom of Parkinson’s disease (PD) is reduced step length (SL). Whilst sensory cueing strategies can be effective in increasing SL and reducing gait variability, current cueing strategies conveying spatial or temporal information are generally confined to the use of either visual or auditory cue modalities, respectively. We describe a novel cueing strategy using ecologically-valid ‘action-related’ sounds (footsteps on gravel) that convey both spatial and temporal parameters of a specific action within a single cue.
Methods: The current study used a real-time imitation task to examine whether PD affects the ability to re-enact changes in spatial characteristics of stepping actions, based solely on auditory information. In a second experimental session, these procedures were repeated using synthesized sounds derived from recordings of the kinetic interactions between the foot and walking surface. A third experimental session examined whether adaptations observed when participants walked to action-sounds were preserved when participants imagined either real recorded or synthesized sounds.
Results: Whilst healthy control participants were able to re-enact significant changes in SL in all cue conditions, these adaptations, in conjunction with reduced variability of SL were only observed in the PD group when walking to, or imagining the recorded sounds.
Conclusions: The findings show that while recordings of stepping sounds convey action information to allow PD patients to re-enact and imagine spatial characteristics of gait, synthesis of sounds purely from gait kinetics is insufficient to evoke similar changes in behaviour, perhaps indicating that PD patients have a higher threshold to cue sensorimotor resonant responses.

Multi-scale cortical keypoints for realtime hand tracking and gesture recognition

Human-robot interaction is an interdisciplinary research area which aims at integrating human factors, cognitive psychology and robot technology. The ultimate goal is the development of social robots. These robots are expected to work in human environments, and to understand behavior of persons through gestures and body movements. In this paper we present a biological and realtime framework for detecting and tracking hands. This framework is based on keypoints extracted from cortical V1 end-stopped cells. Detected keypoints and the cells’ responses are used to classify the junction type. By combining annotated keypoints in a hierarchical, multi-scale tree structure, moving and deformable hands can be segregated, their movements can be obtained, and they can be tracked over time. By using hand templates with keypoints at only two scales, a hand’s gestures can be recognized.

Les effets de la similarité physique dans l’observation d’actions : études comportementales et neurophysiologiques

Il a été suggéré que la similarité physique entre un observateur et une action observée facilite la perception et la compréhension d’action. Par exemple, l’observation d’un acteur exécutant des gestes de la main ayant une signification culturelle est associée à une augmentation de l’excitabilité corticospinale lorsque les deux individus sont de la même ethnicité (Molnar-Szakacs et al., 2007). La perception tactile serait également facilitée lorsqu’un individu regarde un modèle de sa propre race être touché (Serino et al., 2009), tandis que des études en imagerie cérébrale fonctionnelle suggèrent la présence d’activations plus importantes dans le cortex cingulaire lorsqu’un sujet observe une personne de son propre groupe racial ressentir de la douleur (Xu et al., 2009). Certaines études ont lié ces résultats à un mécanisme de résonance motrice, possiblement associé au système des neurones miroirs (SNM), suggérant que la représentation de l’action dans les aires motrices est facilitée par la similarité physique. Toutefois, la grande majorité des stimuli utilisés dans ces études comportent une composante émotionnelle ou culturelle pouvant masquer les effets purement moteurs liant la similarité physique à un mécanisme de résonance motrice. De plus, la sélectivité de l’activation du SNM face à des stimuli biologiques a récemment été remise en question en raison de biais méthodologiques. La présente thèse présente trois études visant à évaluer l’effet de la similarité physique et des caractéristiques biologiques d’un mouvement sur la résonance motrice à l’aide de mesures comportementales et neurophysiologiques. À cet effet, l’imitation automatique de mouvements de la main, l’excitabilité corticospinale et la désynchronisation du rythme électroencéphalographique mu ont servi de marqueurs de l’activité du SNM. Dans les trois études présentées, la couleur de la peau et l’aspect biologique du stimulus observé ou imité ont été systématiquement manipulés. Nos données confirment la sélectivité du SNM pour le mouvement biologique en démontrant une réponse imitative plus rapide et une désynchronisation du rythme mu plus prononcée lors de la présentation de stimuli biologiques comparativement à des stimuli non-biologiques répliquant les aspects physiques du mouvement humain. Les deux mêmes mesures montrent une réponse neurophysiologique et comportementale équivalente lorsque l’action est exécutée par un agent de couleur similaire ou dissimilaire au participant. Nous rapportons aussi un effet surprenant de la similarité physique sur l’excitabilité corticospinale, où l’observation d’une action exécutée par un agent de couleur différente est associée à une activation plus grande du cortex moteur primaire droit de participants de sexe féminin. Prises dans leur ensemble, ces données suggèrent que la similarité physique avec une action observée ne module généralement pas l’activité du SNM au niveau des aires sensorimotrices en l’absence de composantes culturelles et émotionnelles. De plus, les résultats présentés suggèrent que le SNM est sélectif au mouvement biologique plutôt qu’à l’aspect kinématique du mouvement.

Approche systémique pour la composition d’œuvres acousmatiques, mixtes, vidéomusicales et pluridisciplinaires

Cette thèse est une exploration de mon processus compositionnel. En tentant de comprendre comment s’organise ma pensée créatrice, j’ai dégagé trois observations : l’organicisme du processus et des œuvres, la notion de mouvement et la relation récursive entre la matière et le compositeur. Ces thèmes m’ont amené à établir un lien épistémologique entre la composition musicale et l’étude des systèmes complexes. Dans ce cadre systémique, j’ai établi que les informations qui motivent mes prises de décision artistiques ont entre elles des ramifications opérationnelles et structurelles qui évoquent une arborescence rhizomatique plutôt qu’une hiérarchie linéaire. La transdisciplinarité propre à la systémique m’a également permis d’introduire des notions provenant d’autres champs de recherche. S’articulant d’emblée avec mon processus compositionnel, ces notions m’ont procuré une vision holistique de ma démarche artistique. Conséquemment, je considère l’acte de composer comme une interaction entre ma conscience et tout ce qui peut émaner de la matière sonore, les deux s’informant l’une et l’autre dans une boucle récursive que je nomme action⟳perception. L’œuvre ainsi produite n’est pas exclusivement tributaire de ma propre volition puisque, au fil du processus, mes décisions opératoires et artistiques sont en grande partie guidées par les propriétés invariantes et les propriétés morphogéniques inhérentes au matériau sonore. Cette approche dynamique n’est possible que si l’interaction avec le compositeur se fait en temps réel, ce que permet la lutherie numérique. Les résultats de mes recherches m’ont guidé dans la composition d’œuvres choisies, autant acousmatiques, mixtes, vidéomusicales que pluridisciplinaires.

The mirror neuron system as revealed through neonatal imitation: presence from birth, predictive power, and evidence of plasticity

There is strong evidence that neonates imitate previously unseen behaviors. These behaviors are predominantly used in social interactions, demonstrating neonates’ ability and motivation to engage with others. Research on neonatal imitation can provide a wealth of information about the early mirror neuron system (MNS): namely, its functional characteristics, its plasticity from birth, and its relation to skills later in development. Though numerous studies document the existence of neonatal imitation in the laboratory, little is known about its natural occurrence during parent-infant interactions and its plasticity as a consequence of experience. We review these critical aspects of imitation, which we argue are necessary for understanding the early action-perception system. We address common criticisms and misunderstandings about neonatal imitation and discuss methodological differences among studies. Recent work reveals that individual differences in neonatal imitation positively correlate with later social, cognitive, and motor development. We propose that such variation in neonatal imitation could reflect important individual differences of the MNS. Although postnatal experience is not necessary for imitation, we present evidence that neonatal imitation is influenced by experience in the first week of life.

Percepção e ação: direções teóricas e experimentais atuais

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Developing an Anchor system to enhance postural control

This article uses an anchor metaphor to explain the dynamic interplay between the human body's active uses of nonrigid tools to mediate information about its adjacent environment to enhance postural control. The author used an anchor system (ropes attached to varying weights resting on the floor) to test blindfolded adults who performed a restricted-balance task (30 s one-foot standing). Participants were tested while holding the anchors under a variety of weight conditions (125 g, 250 g, 500 g, and I kg) and again during a baseline condition (no anchors). When compared with the baseline condition, there was a significant reduction in the amount of body sway across the anchor conditions. The author found that mechanical support provided by the anchor system was secondary to its haptic exploratory function and that an individual can use the anchoring strategy with a dual purpose: for resting and for reorientation after intrinsic disruptions.