Multisensory Integration and Perceptual Enhancement

We perceive our environment through multiple sensory channels. Nonetheless, research has traditionally focused on the investigation of sensory processing within single modalities. Thus, investigating how our brain integrates multisensory information is of crucial importance for understanding how organisms cope with a constantly changing and dynamic environment. During my thesis I have investigated how multisensory events impact our perception and brain responses, either when auditory-visual stimuli were presented simultaneously or how multisensory events at one point in time impact later unisensory processing. In "Looming signals reveal synergistic principles of multisensory integration" (Cappe, Thelen et al., 2012) we investigated the neuronal substrates involved in motion detection in depth under multisensory vs. unisensory conditions. We have shown that congruent auditory-visual looming (i.e. approaching) signals are preferentially integrated by the brain. Further, we show that early effects under these conditions are relevant for behavior, effectively speeding up responses to these combined stimulus presentations. In "Electrical neuroimaging of memory discrimination based on single-trial multisensory learning" (Thelen et al., 2012), we investigated the behavioral impact of single encounters with meaningless auditory-visual object parings upon subsequent visual object recognition. In addition to showing that these encounters lead to impaired recognition accuracy upon repeated visual presentations, we have shown that the brain discriminates images as soon as ~100ms post-stimulus onset according to the initial encounter context. In "Single-trial multisensory memories affect later visual and auditory object recognition" (Thelen et al., in review) we have addressed whether auditory object recognition is affected by single-trial multisensory memories, and whether recognition accuracy of sounds was similarly affected by the initial encounter context as visual objects. We found that this is in fact the case. We propose that a common underlying brain network is differentially involved during encoding and retrieval of images and sounds based on our behavioral findings. - Nous percevons l'environnement qui nous entoure à l'aide de plusieurs organes sensoriels. Antérieurement, la recherche sur la perception s'est focalisée sur l'étude des systèmes sensoriels indépendamment les uns des autres. Cependant, l'étude des processus cérébraux qui soutiennent l'intégration de l'information multisensorielle est d'une importance cruciale pour comprendre comment notre cerveau travail en réponse à un monde dynamique en perpétuel changement. Pendant ma thèse, j'ai ainsi étudié comment des événements multisensoriels impactent notre perception immédiate et/ou ultérieure et comment ils sont traités par notre cerveau. Dans l'étude " Looming signals reveal synergistic principles of multisensory integration" (Cappe, Thelen et al., 2012), nous nous sommes intéressés aux processus neuronaux impliqués dans la détection de mouvements à l'aide de l'utilisation de stimuli audio-visuels seuls ou combinés. Nos résultats ont montré que notre cerveau intègre de manière préférentielle des stimuli audio-visuels combinés s'approchant de l'observateur. De plus, nous avons montré que des effets précoces, observés au niveau de la réponse cérébrale, influencent notre comportement, en accélérant la détection de ces stimuli. Dans l'étude "Electrical neuroimaging of memory discrimination based on single-trial multisensory learning" (Thelen et al., 2012), nous nous sommes intéressés à l'impact qu'a la présentation d'un stimulus audio-visuel sur l'exactitude de reconnaissance d'une image. Nous avons étudié comment la présentation d'une combinaison audio-visuelle sans signification, impacte, au niveau comportementale et cérébral, sur la reconnaissance ultérieure de l'image. Les résultats ont montré que l'exactitude de la reconnaissance d'images, présentées dans le passé, avec un son sans signification, est inférieure à celle obtenue dans le cas d'images présentées seules. De plus, notre cerveau différencie ces deux types de stimuli très tôt dans le traitement d'images. Dans l'étude "Single-trial multisensory memories affect later visual and auditory object recognition" (Thelen et al., in review), nous nous sommes posés la question si l'exactitude de ia reconnaissance de sons était affectée de manière semblable par la présentation d'événements multisensoriels passés. Ceci a été vérifié par nos résultats. Nous avons proposé que cette similitude puisse être expliquée par le recrutement différentiel d'un réseau neuronal commun.

Transnational authority in the knowledge-based economy: Who sets the standards of ICT training and certification?

This article examines the extent and limits of nonstate forms of authority in international relations. It analyzes how the information and communication technology (ICT) infrastructure for the tradability of services in a global knowledge-based economy relies on informal regulatory practices for the adjustment of ICT-related skills. By focusing on the challenge that highly volatile and short-lived cycles of demands for this type of knowledge pose for ensuring the right qualification of the labor force, the article explores how companies and associations provide training and certification programs as part of a growing market for educational services setting their own standards. The existing literature on non-conventional forms of authority in the global political economy has emphasized that the consent of actors, subject to informal rules and some form of state support, remains crucial for the effectiveness of those new forms of power. However, analyses based on a limited sample of actors tend toward a narrow understanding of the issues concerned and fail to fully explore the differentiated space in which non state authority is emerging. This article develops a three-dimensional analytical framework that brings together the scope of the issues involved, the range of nonstate actors concerned, and the spatial scope of their authority. The empirical findings highlight the limits of these new forms of nonstate authority and shed light on the role of the state and international governmental organizations in this new context.

Inter-firm labor mobility and knowledge diffusion: a theoretical approach

[cat] Analitzem una economia amb dues característiques principals: la mobilitat dels treballadors implica transferència de coneixement i la productivitat de l’empresa augmenta amb l’intercanvi de coneixement. Cada empresa desenvolupa un tipus de coneixement que serà trasmès a la resta de la indústria mitjançant la mobilitat de treballadors. Estudiem dues estructures de mercat laboral i utilitzant un anàlisi comparatiu derivem les implicacions del model. Els resultats revelen com la mobilitat de treballadors depèn en la varietat i nivell del coneixement, la presència de costos de mobilitat, les institucions, la capacitat d’absorvir coneixement per part de les empreses i la mida de la indústria. Els resultats no depenen de l’estructura del mercat laboral.

Contribution à la compréhension du rôle de la mémoire de travail visuospatiale et de ses altérations dans la schizophrénie à l'aide d'un nouveau paradigme qui présente des stimuli dynamiques et statiques

Abstract Working memory has been defined as the ability to maintain and manipulate on-line a limited amount of information. A large number of studies have investigated visuospatial working memory in schizophrenia. However, today, the available data concerning the functioning of these processes in schizophrenia are largely controversial. These inconclusive results are due to incomplete knowledge on processes involved in visuospatial working memory tasks. Recent studies suggest that visuospatial working memory processes may be divided into an active monitoring and a storing components. Furthermore, it has been shown that visuospatial working memory processes are strongly interconnected with early encoding processes (perceptual organization). In our view, the two working memory components, and the relationship that they entertain with early encoding processes, may be investigated using dynamic and static visuospatial stimuli in a working memory paradigm. In this thesis we aim at comparing dynamic and static visuospatial working memory processes in patients with schizophrenia and first-episode of psychosis patients. This analysis may clarify the functioning of visuospatial working memory and the dysfunction of these processes in schizophrenia. Our results are in accord with the hypothesis of two visuospatial working memory subcomponents. Dynamic, rather than static, stimuli are strongly involved in the visuospatial working memory encoding process. Indeed, the results are congruent with the idea that static stimuli may be strongly encoded by parallel perceptual organization processes. Patients with schizophrenia show important deficits in both working memory and perceptual organization encoding processes. In contrast, perceptual organization processes seem spared in firstepisodepsychosis patients. Considering our findings, we propose a model to explain the degradation of visuospatial processes involved in a working memory task during schizophrenia. Résumé: La mémoire de travail est définie comme la capacité à maintenir et manipuler « on-line » un nombre limité d'informations pour une courte période de temps (de l'ordre de quelques dizaines de secondes). Un grand nombre d'études a montré que les processus de mémoire de travail visuo spatiale peuvent être affectés dans la schizophrénie. Malgré cela, les données concernant les déficits de ces processus chez des patients qui souffrent de schizophrénie sont contradictoires. La difficulté de comprendre la nature des déficits de mémoire de travail visuospatiale dans la schizophrénie est en grande partie imputable aux connaissances encore lacunaires sur le fonctionnement de ces processus dans un état non pathologique. Dans cette thèse, on cherche à élucider le fonctionnement des processus de mémoire de travail visuospatiale. Pour cela, on a créé un nouveau paradigme qui sollicite ce type de mémoire. Dans ce paradigme, on présente des stimuli dynamiques et statiques. Après un court délai, le sujet doit reconnaître le stimulus qu'il a visualisé parmi six possibilités. Sur la base de récentes études neurophysiologiques, neuroanatomiques et psychologiques, nous avançons l'hypothèse que l'encodage de stimuli dynamiques et statiques repose sur deux processus distincts de mémoire de travail : un processus d'organisation qui manipule les informations sensorielles et un processus dé stockage qui est responsable du maintien de l'information au cours de la manipulation. Ces processus sont en relation directe avec les processus responsables d'une organisation de l'information à un niveau précoce du traitement visuel. Les études présentées dans cette thèse ont pour but de vérifier la pertinence de la distinction entre les processus de mémoire de travail visuospatiale, selon la modalité «dynamique » ou «statique ». L'investigation des processus dynamiques et statiques de mémoire de travail dans la schizophrénie présente deux avantages principaux. Premièrement, 1a pathologie pourrait permettre de mettre en évidence, par les dysfonctionnements qu'elle présente, la pertinence des hypothèses sur le fonctionnement des processus de mémoire de travail visuospatiale et de leur interaction avec les processus sensoriels. Deuxièmement, ces investigations rendent possible une analyse des dysfonctions des différents processus dans la schizophrénie. Dans cette thèse, on analyse aussi les processus de mémoire de travail «dynamiques » et «statiques » chez des sujets dans une phase initiale de la psychose. Les résultats de cette étude permettent de faire une comparaison avec ceux obtenus avec des patients qui souffrent de schizophrénie. Cette comparaison peut apporter des informations intéressantes sur l'évolution des dysfonctions dans les processus impliqués dans les fonctions de mémoire de travail visuospatiale au cours de la schizophrénie. Les résultats obtenus dans les différentes études sont cohérents avec l'hypothèse d'une implication différente des processus d'organisation de la mémoire de travail sur des stimuli dynamiques et statiques. -Nos résultats montrent que les processus de mémoire de travail responsables de l'organisation (manipulation active) des informations est déficitaire dans la schizophrénie. Ce déficit semble jouer un rôle de premier plan dans la dégradation des processus visuospatiaux au cours de la schizophrénie.

Auditory perceptual decision-making based on semantic categorization of environmental sounds.

Discriminating complex sounds relies on multiple stages of differential brain activity. The specific roles of these stages and their links to perception were the focus of the present study. We presented 250ms duration sounds of living and man-made objects while recording 160-channel electroencephalography (EEG). Subjects categorized each sound as that of a living, man-made or unknown item. We tested whether/when the brain discriminates between sound categories even when not transpiring behaviorally. We applied a single-trial classifier that identified voltage topographies and latencies at which brain responses are most discriminative. For sounds that the subjects could not categorize, we could successfully decode the semantic category based on differences in voltage topographies during the 116-174ms post-stimulus period. Sounds that were correctly categorized as that of a living or man-made item by the same subjects exhibited two periods of differences in voltage topographies at the single-trial level. Subjects exhibited differential activity before the sound ended (starting at 112ms) and on a separate period at ~270ms post-stimulus onset. Because each of these periods could be used to reliably decode semantic categories, we interpreted the first as being related to an implicit tuning for sound representations and the second as being linked to perceptual decision-making processes. Collectively, our results show that the brain discriminates environmental sounds during early stages and independently of behavioral proficiency and that explicit sound categorization requires a subsequent processing stage.