Auditory spatio-temporal brain dynamics and their consequences for multisensory interactions in humans.

Recent multisensory research has emphasized the occurrence of early, low-level interactions in humans. As such, it is proving increasingly necessary to also consider the kinds of information likely extracted from the unisensory signals that are available at the time and location of these interaction effects. This review addresses current evidence regarding how the spatio-temporal brain dynamics of auditory information processing likely curtails the information content of multisensory interactions observable in humans at a given latency and within a given brain region. First, we consider the time course of signal propagation as a limitation on when auditory information (of any kind) can impact the responsiveness of a given brain region. Next, we overview the dual pathway model for the treatment of auditory spatial and object information ranging from rudimentary to complex environmental stimuli. These dual pathways are considered an intrinsic feature of auditory information processing, which are not only partially distinct in their associated brain networks, but also (and perhaps more importantly) manifest only after several tens of milliseconds of cortical signal processing. This architecture of auditory functioning would thus pose a constraint on when and in which brain regions specific spatial and object information are available for multisensory interactions. We then separately consider evidence regarding mechanisms and dynamics of spatial and object processing with a particular emphasis on when discriminations along either dimension are likely performed by specific brain regions. We conclude by discussing open issues and directions for future research.

Measuring the effects through time of the influence of visuomotor and visuotactile synchronous stimulation on a virtual body ownership illusion

Previous studies have examined the experience of owning a virtual surrogate body or body part through specific combinations of cross-modal multisensory stimulation. Both visuomotor (VM) and visuotactile (VT) synchronous stimulation have been shown to be important for inducing a body ownership illusion, each tested separately or both in combination. In this study we compared the relative importance of these two cross-modal correlations, when both are provided in the same immersive virtual reality setup and the same experiment. We systematically manipulated VT and VM contingencies in order to assess their relative role and mutual interaction. Moreover, we present a new method for measuring the induced body ownership illusion through time, by recording reports of breaks in the illusion of ownership ("breaks") throughout the experimental phase. The balance of the evidence, from both questionnaires and analysis of the breaks, suggests that while VM synchronous stimulation contributes the greatest to the attainment of the illusion, a disruption of either (through asynchronous stimulation) contributes equally to the probability of a break in the illusion.

Contextual factors multiplex to control multisensory processes.

This study analyzed high-density event-related potentials (ERPs) within an electrical neuroimaging framework to provide insights regarding the interaction between multisensory processes and stimulus probabilities. Specifically, we identified the spatiotemporal brain mechanisms by which the proportion of temporally congruent and task-irrelevant auditory information influences stimulus processing during a visual duration discrimination task. The spatial position (top/bottom) of the visual stimulus was indicative of how frequently the visual and auditory stimuli would be congruent in their duration (i.e., context of congruence). Stronger influences of irrelevant sound were observed when contexts associated with a high proportion of auditory-visual congruence repeated and also when contexts associated with a low proportion of congruence switched. Context of congruence and context transition resulted in weaker brain responses at 228 to 257 ms poststimulus to conditions giving rise to larger behavioral cross-modal interactions. Importantly, a control oddball task revealed that both congruent and incongruent audiovisual stimuli triggered equivalent non-linear multisensory interactions when congruence was not a relevant dimension. Collectively, these results are well explained by statistical learning, which links a particular context (here: a spatial location) with a certain level of top-down attentional control that further modulates cross-modal interactions based on whether a particular context repeated or changed. The current findings shed new light on the importance of context-based control over multisensory processing, whose influences multiplex across finer and broader time scales.

Measuring the effects through time of the influence of visuomotor and visuotactile synchronous stimulation on a virtual body ownership illusion

Previous studies have examined the experience of owning a virtual surrogate body or body part through specific combinations of cross-modal multisensory stimulation. Both visuomotor (VM) and visuotactile (VT) synchronous stimulation have been shown to be important for inducing a body ownership illusion, each tested separately or both in combination. In this study we compared the relative importance of these two cross-modal correlations, when both are provided in the same immersive virtual reality setup and the same experiment. We systematically manipulated VT and VM contingencies in order to assess their relative role and mutual interaction. Moreover, we present a new method for measuring the induced body ownership illusion through time, by recording reports of breaks in the illusion of ownership ("breaks") throughout the experimental phase. The balance of the evidence, from both questionnaires and analysis of the breaks, suggests that while VM synchronous stimulation contributes the greatest to the attainment of the illusion, a disruption of either (through asynchronous stimulation) contributes equally to the probability of a break in the illusion.

Characterisation and optimisation of the flavour of health-promoting, plantderived bitterants in functional beverages.

Flavour is a combination of taste, odour, and chemesthetic sensations. Close associations exist between these sensory modalities, and thus, the overall flavour of a food or beverage product can change when the intensity of one or more of these sensations is altered. Strategies to modify flavour are often utilized by the food industry, and are central to the engineering of new and reformulated products. For functional food and beverages, flavour modification is particularly important, as fortifying agents can elicit high levels of less than desirable sensations, such as bitterness and astringency. The application of various flavour modifying strategies can decrease the perceived intensity of these sensations, and in tum, improve the sensory profile of the product. This collection of studies describes the sensory characteristics of experimental functional beverages fortified with trans-resveratrol, (+)-catechin, and/or caffeine, and examines the impact of novel flavour modifying strategies on the perceived flavour of these beverages. In the first study, results demonstrate that the flavour profile of Cabemet Sauvignon wines fortified with 20 mglL and 200 mg/L of trans-resveratrol is not perceived as different compared to control wine (0 mglL). However, Riesling wine fortified with 200 mg/L is perceived as significantly higher in bitterness compared to 20 mglL and control. For some functional food formulations, alternative strategies for flavour modification are needed. Traditional methods, such as the addition of sucrose and sodium chloride, may decrease the perceived 'healthiness' of a product, and thus, may be sub-optimal. In a second study, high and low concentrations of five different bitter inhibiting compounds - 'bitter blockers' - (B-cyclodextrin, homoeridictyol sodium salt, carboxymethylcellulose - low viscosity, zinc sulfate, magnesium sulfate) were tested for their efficacy towards decreasing the bitterness of high and low concentrations of caffeine and (+)catechin - two health-relevant, plant-derived bitterants. B-cyclodextrin and homoeridictyol sodium salt were the most effective blockers at decreasing (+ )-catechin and caffeine, respectively. In addition to bitter blockers, additional flavour modifying strategies, either alone or in combination - may also be successful in functional food formulations. Both sucrose and rebaudioside A - a plant-derived sweetener - were effective at decreasing the bitterness of (+)catechin. When added to (+)-catechin along with B-cyc1odextrin, both sweeteners provided the most effective decrease in bitterness compared to binary, ternary, or quaternary mixtures of (+)catechin together with bitter blockers, sweeteners, andlor odourants. The perceived intensity of sensations elicited by sweeteners and odourants was not affected by the addition of bitter blockers, and thus, their impact within these complex matrices is minimal. In addition, withinmodal (taste-taste) compared to cross-modal (taste-odour) sensory interactions were more effective at decreasing the bitterness of (+ )-catechin. Overall, results from these studies demonstrate that certain novel, alternative flavour modifying approaches may be successful towards lowering the bitterness and astringency elicited by (+ )-catechin and caffeine in aqueous solutions.

Un oeil sur la langue : aspects neuro-cognitifs du processus de la navigation chez l'aveugle-né

La vision est un élément très important pour la navigation en général. Grâce à des mécanismes compensatoires les aveugles de naissance ne sont pas handicapés dans leurs compétences spatio-cognitives, ni dans la formation de nouvelles cartes spatiales. Malgré l’essor des études sur la plasticité du cerveau et la navigation chez les aveugles, les substrats neuronaux compensatoires pour la préservation de cette fonction demeurent incompris. Nous avons démontré récemment (article 1) en utilisant une technique d’analyse volumétrique (Voxel-Based Morphometry) que les aveugles de naissance (AN) montrent une diminution de la partie postérieure de l’hippocampe droit, structure cérébrale importante dans la formation de cartes spatiales. Comment les AN forment-ils des cartes cognitives de leur environnement avec un hippocampe postérieur droit qui est significativement réduit ? Pour répondre à cette question nous avons choisi d’exploiter un appareil de substitution sensorielle qui pourrait potentiellement servir à la navigation chez les AN. Cet appareil d’affichage lingual (Tongue display unit -TDU-) retransmet l’information graphique issue d’une caméra sur la langue. Avant de demander à nos sujets de naviguer à l’aide du TDU, il était nécessaire de nous assurer qu’ils pouvaient « voir » des objets dans l’environnement grâce au TDU. Nous avons donc tout d’abord évalué l’acuité « visuo »-tactile (article 2) des sujets AN pour les comparer aux performances des voyants ayant les yeux bandées et munis du TDU. Ensuite les sujets ont appris à négocier un chemin à travers un parcours parsemé d’obstacles i (article 3). Leur tâche consistait à pointer vers (détection), et contourner (négociation) un passage autour des obstacles. Nous avons démontré que les sujets aveugles de naissance non seulement arrivaient à accomplir cette tâche, mais encore avaient une performance meilleure que celle des voyants aux yeux bandés, et ce, malgré l’atrophie structurelle de l’hippocampe postérieur droit, et un système visuel atrophié (Ptito et al., 2008). Pour déterminer quels sont les corrélats neuronaux de la navigation, nous avons créé des routes virtuelles envoyées sur la langue par le biais du TDU que les sujets devaient reconnaitre alors qu’ils étaient dans un scanneur IRMf (article 4). Nous démontrons grâce à ces techniques que les aveugles utilisent un autre réseau cortical impliqué dans la mémoire topographique que les voyants quand ils suivent des routes virtuelles sur la langue. Nous avons mis l’emphase sur des réseaux neuronaux connectant les cortex pariétaux et frontaux au lobe occipital puisque ces réseaux sont renforcés chez les aveugles de naissance. Ces résultats démontrent aussi que la langue peut être utilisée comme une porte d’entrée vers le cerveau en y acheminant des informations sur l’environnement visuel du sujet, lui permettant ainsi d’élaborer des stratégies d’évitement d’obstacles et de se mouvoir adéquatement.

Les habiletés olfactives des aveugles de naissance : organisation anatomo-fonctionnelle et aspects comportementaux

La littérature décrit certains phénomènes de réorganisation physiologique et fonctionnelle dans le cerveau des aveugles de naissance, notamment en ce qui a trait au traitement de l’information tactile et auditive. Cependant, le système olfactif des aveugles n’a reçu que très peu d’attention de la part des chercheurs. Le but de cette étude est donc de comprendre comment les aveugles traitent l’information olfactive au niveau comportemental et d’investiguer les substrats neuronaux impliqués dans ce processus. Puisque, en règle générale, les aveugles utilisent leurs sens résiduels de façon compensatoire et que le système olfactif est extrêmement plastique, des changements au niveau de l’organisation anatomo-fonctionnelle pourraient en résulter. Par le biais de méthodes psychophysiques et d’imagerie cérébrale (Imagerie par Résonance Magnétique fonctionnelle-IRMf), nous avons investigué les substrats anatomo-fonctionnels sollicités par des stimuli olfactifs. Nous avons trouvé que les aveugles ont un seuil de détection plus bas que les voyants, mais que leur capacité à discriminer et identifier des odeurs est similaire au groupe contrôle. Ils ont aussi plus conscience de l’environnement olfactif. Les résultats d’imagerie révèlent un signal BOLD plus intense dans le cortex orbitofrontal droit, le thalamus, l’hippocampe droit et le cortex occipital lors de l’exécution d’une tâche de détection d’odeur. Nous concluons que les individus aveugles se fient d’avantage à leur sens de l’odorat que les voyants afin d’évoluer dans leur environnement physique et social. Cette étude démontre pour la première fois que le cortex visuel des aveugles peut être recruté par des stimuli olfactifs, ce qui prouve que cette région assume des fonctions multimodales.

Réponse auditive oscillatoire chez le non-voyant : investigation par magnétoencéphalographie

Les personnes non-voyantes montrent dans les différents aspects de leurs vies qu’elles sont capables de s’adapter à la privation visuelle en utilisant les capacités intactes comme l’ouï ou le toucher. Elles montrent qu’elles peuvent bien évoluer dans leur environnement en absence de vision et démontrent même des fois des habiletés supérieures à celles des personnes voyantes. La recherche de ces dernières décennies s’est beaucoup intéressée aux capacités adaptatives des non-voyants surtout avec l’avènement des nouvelles techniques d’imagerie qui ont permis d’investiguer des domaines qui ne l’étaient pas ou l’étaient difficilement avant. Les capacités supérieures des non voyants dans l’utilisation plus efficace des informations auditives et tactiles semblent avoir leur base neuronale dans le dans le cortex visuel désafférenté, qui continu à être fonctionnel après la privation sensorielle et s’en trouve recruté pour le traitement de stimulations dites intermodales : auditives, tactiles et même montre une implication dans des processus de plus haut niveau, comme la mémoire ou le langage. Cette implication fonctionnelle intermodale résulte de la plasticité du cortex visuel c'est-à-dire sa capacité à changer sa structure, sa fonction et d’adapter ses interactions avec les autres systèmes en l’absence de vision. La plasticité corticale n’est pas exclusive au cortex visuel mais est un état permanent de tout le cerveau. Pour mesurer l’activité du cortex visuel des non voyants, une mesure d’excitabilité de ses neurones consiste à mesurer le temps de recouvrement de l’onde N1 en potentiels évoqués, qui est plus rapide chez les non voyants dans la modalité auditive. En effet, les réponses en potentiels et champs évoqués ont été utilisés en EEG/MEG pour mettre en évidence des changements plastiques dans le cortex visuel des non-voyants pour le traitement de stimuli dans les modalités auditives et tactiles. Ces réponses étaient localisées dans les régions postérieures chez les non voyants contrairement aux contrôles voyants. Un autre type de réponse auditive a reçu moins d’intérêt dans la recherche concernant la réorganisation fonctionnelle en relation avec la privation sensorielle, il s’agit de la réponse auditive oscillatoire (Auditory Steady-State Response ASSR). C’est une réponse qui a l’avantage d’osciller au rythme de stimulation et d’être caractérisé par une réponse des aires auditives étiquetée à la fréquence de stimulation. Cette étiquette se présente sous la forme qu’un pic d’énergie spectrale important qui culmine aux fréquences présentes dans la stimulation. Elle a également l’avantage d’être localisée dans les régions auditives primaires, de là tout changement de localisation de cette réponse chez des non voyants en faveur des régions visuelles pourrait être considéré comme une évidence de la réorganisation fonctionnelle qui s’opère après une privation sensorielle précoce. Le but de cette thèse est donc d’utiliser la réponse oscillatoire à l’écoute des sons modulés en amplitude (MA) pour mettre en évidence les corrélats de la réorganisation fonctionnelle dans le cortex visuel des non-voyants précoces. La modulation de la réponse auditive dans les régions visuelles nous permettra de montrer qu’une réorganisation est possible chez les non-voyants pour ce traitement intermodal. La première étude est une validation du paradigme expérimental «frequency tagged sounds». Il s’agit de montrer qu’une tâche de détection de changement dans la stimulation, permet de moduler la réponse ASSR aux sons modulés en amplitude en vue de l’utiliser dans les études chez les non voyants et dans les conditions d’une privation visuelle transitoire (avec les yeux bandés). Un groupe de sujets voyants ont réalisé une tâche de détection de changement dans la stimulation les yeux ouverts dans deux conditions : écoute active qui consiste à détecter un changement dans la fréquence porteuse de la modulation en appuyant avec l’index droit sur un bouton de réponse et une condition d’écoute passive. Les sons étaient présentés en écoute monaurale et dichotique. Les résultats ont montré une différence significative à l’occurrence du changement dans la stimulation en écoute dichotique seulement. Les schémas de plus grande réponse controlatérale et de suppression binaurale décrit dans la littérature ont été confirmés. La deuxième étude avait pour but de mettre en évidence une réorganisation rapide de la réponse ASSR chez un groupe de sujets voyants dans les conditions de privation visuelle transitoire de courte durée, par bandage des yeux pendant six heures. Le même protocole expérimental que la première étude a été utilisé en écoute active seulement. Les résultats montrent que dans ces conditions une modulation de la réponse corticale en écoute dichotique dans les régions visuelles est possible. Ces sources d’activité occipitale adoptent une propriété du cortex auditif qui est le battement binaural, c'est-à-dire l’oscillation de la réponse ASSR à la différence des fréquences présentées dans chaque oreille. Cet effet est présent chez la moitié des sujets testés. La représentation corticale des sources occipitales évolue durant la période de privation et montre un déplacement des sources d’activité dans la direction antéropostérieure à la fin de la période de privation. La troisième étude a permis de comparer le traitement de la réponse ASSR dans un groupe de non-voyants congénitaux à un groupe de voyants contrôles, pour investiguer les corrélats de la réorganisation fonctionnelle de cette réponse après une privation sensorielle de longue durée c'est-à-dire chez des non voyants congénitaux. Les résultats montrent des différences significatives dans la représentation spectrale de la réponse entre les deux groupes avec néanmoins des activations temporales importantes aussi bien chez les non voyants que chez les contrôles voyants. Des sources distribuées ont été localisées dans les régions associatives auditives dans les deux groupes à la différence des non voyants où il y avait en plus l’implication des régions temporales inférieures, connues comme étant activées par la vision des objets chez les voyants et font partie de la voie visuelle du quoi. Les résultats présentés dans le cadre de cette thèse vont dans le sens d’une réorganisation rapide de la réponse auditive oscillatoire après une privation visuelle transitoire de courte durée par l’implication des régions visuelles dans le traitement de la réponse ASSR par l’intermédiaire du démasquage de connections existantes entre le cortex visuel et le cortex auditif. La privation visuelle de longue durée, elle conduit à des changements plastiques, d’une part intra modaux par l’extension de l’activité aux régions temporales supérieures et médianes. D’autre part, elle induit des changements inter modaux par l’implication fonctionnelle des régions temporales inférieures visuelles dans le traitement des sons modulés en amplitude comme objets auditifs alors qu’elles sont normalement dédiées au traitement des objets visuels. Cette réorganisation passe probablement par les connections cortico-corticales.

A Psychophysical Assessment of Multisensory Processing and Multiple Object Tracking in Autism Spectrum Disorders

Les troubles du spectre autistique (TSA) sont actuellement caractérisés par une triade d'altérations, incluant un dysfonctionnement social, des déficits de communication et des comportements répétitifs. L'intégration simultanée de multiples sens est cruciale dans la vie quotidienne puisqu'elle permet la création d'un percept unifié. De façon similaire, l'allocation d'attention à de multiples stimuli simultanés est critique pour le traitement de l'information environnementale dynamique. Dans l'interaction quotidienne avec l'environnement, le traitement sensoriel et les fonctions attentionnelles sont des composantes de base dans le développement typique (DT). Bien qu'ils ne fassent pas partie des critères diagnostiques actuels, les difficultés dans les fonctions attentionnelles et le traitement sensoriel sont très courants parmi les personnes autistes. Pour cela, la présente thèse évalue ces fonctions dans deux études séparées. La première étude est fondée sur la prémisse que des altérations dans le traitement sensoriel de base pourraient être à l'origine des comportements sensoriels atypiques chez les TSA, tel que proposé par des théories actuelles des TSA. Nous avons conçu une tâche de discrimination de taille intermodale, afin d'investiguer l'intégrité et la trajectoire développementale de l'information visuo-tactile chez les enfants avec un TSA (N = 21, âgés de 6 à18 ans), en comparaison à des enfants à DT, appariés sur l’âge et le QI de performance. Dans une tâche à choix forcé à deux alternatives simultanées, les participants devaient émettre un jugement sur la taille de deux stimuli, basé sur des inputs unisensoriels (visuels ou tactiles) ou multisensoriels (visuo-tactiles). Des seuils différentiels ont évalué la plus petite différence à laquelle les participants ont été capables de faire la discrimination de taille. Les enfants avec un TSA ont montré une performance diminuée et pas d'effet de maturation aussi bien dans les conditions unisensorielles que multisensorielles, comparativement aux participants à DT. Notre première étude étend donc des résultats précédents d'altérations dans le traitement multisensoriel chez les TSA au domaine visuo-tactile. Dans notre deuxième étude, nous avions évalué les capacités de poursuite multiple d’objets dans l’espace (3D-Multiple Object Tracking (3D-MOT)) chez des adultes autistes (N = 15, âgés de 18 à 33 ans), comparés à des participants contrôles appariés sur l'âge et le QI, qui devaient suivre une ou trois cibles en mouvement parmi des distracteurs dans un environnement de réalité virtuelle. Les performances ont été mesurées par des seuils de vitesse, qui évaluent la plus grande vitesse à laquelle des observateurs sont capables de suivre des objets en mouvement. Les individus autistes ont montré des seuils de vitesse réduits dans l'ensemble, peu importe le nombre d'objets à suivre. Ces résultats étendent des résultats antérieurs d'altérations au niveau des mécanismes d'attention en autisme quant à l'allocation simultanée de l'attention envers des endroits multiples. Pris ensemble, les résultats de nos deux études révèlent donc des altérations chez les TSA quant au traitement simultané d'événements multiples, que ce soit dans une modalité ou à travers des modalités, ce qui peut avoir des implications importantes au niveau de la présentation clinique de cette condition.

Interactions multimodales visuelles et tactiles dans l’espace

L’intégration de stimulations provenant de modalités sensorielles différentes nous offre des avantages perceptifs tels qu’une meilleure discrimination et une accélération des temps de réponse (TR) face aux évènements environnementaux. Cette thèse a investigué les effets de la position spatiale de stimulations visuelles et tactiles sur le gain de redondance (GR), qui correspond à une réduction du temps de réaction lorsque deux stimulations sont présentées simultanément plutôt qu’isolément. La première étude a comparé le GR lorsque les mêmes stimulations visuotactiles sont présentées dans une tâche de détection et une tâche de discrimination spatiale. Les stimulations étaient présentées unilatéralement dans le même hémichamp ou bilatéralement dans les hémichamps opposés. Dans la tâche de détection, les participants devaient répondre à toutes les stimulations, peu importe leur localisation. Les résultats de cette tâche démontrent que les stimulations unilatérales et bilatérales produisent un GR et une violation du modèle de course indissociables. Dans la tâche de discrimination spatiale où les participants devaient répondre seulement aux stimulations présentées dans l’hémichamp droit, les TR aux stimulations bilatérales étaient moins rapides. Nous n’avons pas observé de différence entre le GR maximal obtenu dans l’une ou l’autre des tâches de cette étude. Nous concluons que lorsque l’information spatiale n’est pas pertinente pour accomplir la tâche, les stimulations unilatérales et bilatérales sont équivalentes. La manipulation de la pertinence de l’information spatiale permet donc d’induire une altération du GR en fonction de la localisation des stimulations. Lors d’une seconde étude, nous avons investigué si la différence entre les gains comportementaux résultants de l’intégration multimodale et intramodale dépend de la configuration spatiale des stimulations. Les résultats montrent que le GR obtenu pour les conditions multimodales surpasse celui obtenu pour les stimulations intramodales. De plus, le GR des conditions multimodales n’est pas influencé par la configuration spatiale des stimulations. À l’opposé, les stimulations intramodales produisent un GR plus important iii lorsque les stimulations sont présentées bilatéralement. Nos résultats suggèrent que l’intégration multimodale et intramodale se distinguent quant au GR qu’ils produisent et quant aux conditions nécessaires à cette amélioration. La troisième étude examine le rôle du corps calleux (CC) dans l’observation du GR obtenu pour les stimulations multimodales et intramodales lorsque celles-ci sont présentées unilatéralement et bilatéralement. Quatre patients ayant une agénésie congénitale du corps calleux (AgCC) et un patient callosotomisé ont été comparés à des individus normaux dans une tâche de détection. Dans l’ensemble, les résultats suggèrent que le CC n’est pas nécessaire pour l’intégration interhémisphérique de stimulations multimodales. Sur la base d’études précédentes démontrant le rôle des collicules supérieurs (CS) dans l’intégration multimodale, nous concluons qu’en l’absence du CC, les bénéfices comportementaux résultants d’un traitement sous-cortical par les CS ne reflètent pas les règles d’intégration observées dans les études neurophysiologiques chez l’animal.

Antecedent priming at trace positions in children's sentence processing

The present study examines whether children reactivate a moved constituent at its gap position and how children's more limited working memory span affects the way they process filler-gap dependencies. 46 5-7 year-old children and 54 adult controls participated in a cross-modal picture priming experiment and underwent a standardized working memory test. The results revealed a statistically significant interaction between the participants' working memory span and antecedent reactivation: High-span children (n = 19) and high-span adults (n = 22) showed evidence of antecedent priming at the gap site, while for low-span children and adults, there was no such effect. The antecedent priming effect in the high-span participants indicates that in both children and adults, dislocated arguments access their antecedents at gap positions. The absence of an antecedent reactivation effect in the low-span participants could mean that these participants required more time to integrate the dislocated constituent and reactivated the filler later during the sentence.

On-line processing of wh-questions in children with G-SLI and typically developing children

Background: The computational grammatical complexity ( CGC) hypothesis claims that children with G(rammatical)-specific language impairment ( SLI) have a domain-specific deficit in the computational system affecting syntactic dependencies involving 'movement'. One type of such syntactic dependencies is filler-gap dependencies. In contrast, the Generalized Slowing Hypothesis claims that SLI children have a domain-general deficit affecting processing speed and capacity. Aims: To test contrasting accounts of SLI we investigate processing of syntactic (filler-gap) dependencies in wh-questions. Methods & Procedures: Fourteen 10; 2 - 17; 2 G-SLI children, 14 age- matched and 17 vocabulary-matched controls were studied using the cross- modal picturepriming paradigm. Outcomes & Results: G-SLI children's processing speed was significantly slower than the age controls, but not younger vocabulary controls. The G- SLI children and vocabulary controls did not differ on memory span. However, the typically developing and G-SLI children showed a qualitatively different processing pattern. The age and vocabulary controls showed priming at the gap, indicating that they process wh-questions through syntactic filler-gap dependencies. In contrast, G-SLI children showed priming only at the verb. Conclusions: The findings indicate that G-SLI children fail to establish reliably a syntactic filler- gap dependency and instead interpret wh-questions via lexical thematic information. These data challenge the Generalized Slowing Hypothesis account, but support the CGC hypothesis, according to which G-SLI children have a particular deficit in the computational system affecting syntactic dependencies involving 'movement'. As effective remediation often depends on aetiological insight, the discovery of the nature of the syntactic deficit, along side a possible compensatory use of semantics to facilitate sentence processing, can be used to direct therapy. However, the therapeutic strategy to be used, and whether such similar strengths and weaknesses within the language system are found in other SLI subgroups are empirical issues that warrant further research.

Distinguishing novelty and familiarity effects in infant preference procedures

This paper considers possible problems researchers might face when interpreting the results of studies that employ variants of the preference procedure. Infants show a tendency to shift their preference from familiar to novel stimuli with increasing exposure to the familiar stimulus, a behaviour that is exploited by the habituation paradigm. This change in attentional preference with exposure leads us to suggest that researchers interested in infants' pre-experimental or spontaneous preferences should beware of the potentially confounding effects of exposing infants to familiarization trials prior to employing the preference procedure. The notion that infant attentional preference is dynamic also calls into question the use of the direction of post-familiarization preference per se when interpreting the knowledge or strategies available to infants. We look into the results of a cross-modal word learning study to show how the interpretation of results may be difficult when infants exhibit a significant preference in an unexpected direction. As a possible solution to this problem we propose that significant preferences in both directions should be sought at multiple intervals over time. Copyright (C) 2004 John Wiley Sons, Ltd.

Facilitating and disrupting speech perception in word deafness

Background: Word deafness is a rare condition where pathologically degraded speech perception results in impaired repetition and comprehension but otherwise intact linguistic skills. Although impaired linguistic systems in aphasias resulting from damage to the neural language system (here termed central impairments), have been consistently shown to be amenable to external influences such as linguistic or contextual information (e.g. cueing effects in naming), it is not known whether similar influences can be shown for aphasia arising from damage to a perceptual system (here termed peripheral impairments). Aims: This study aimed to investigate the extent to which pathologically degraded speech perception could be facilitated or disrupted by providing visual as well as auditory information. Methods and Procedures: In three word repetition tasks, the participant with word deafness (AB) repeated words under different conditions: words were repeated in the context of a pictorial or written target, a distractor (semantic, unrelated, rhyme or phonological neighbour) or a blank page (nothing). Accuracy and error types were analysed. Results: AB was impaired at repetition in the blank condition, confirming her degraded speech perception. Repetition was significantly facilitated when accompanied by a picture or written example of the word and significantly impaired by the presence of a written rhyme. Errors in the blank condition were primarily formal whereas errors in the rhyme condition were primarily miscues (saying the distractor word rather than the target). Conclusions: Cross-modal input can both facilitate and further disrupt repetition in word deafness. The cognitive mechanisms behind these findings are discussed. Both top-down influence from the lexical layer on perceptual processes as well as intra-lexical competition within the lexical layer may play a role.  

Effetti dell'integrazione visuo-acustica in pazienti con disturbo di campo visivo

Human brain is provided with a flexible audio-visual system, which interprets and guides responses to external events according to spatial alignment, temporal synchronization and effectiveness of unimodal signals. The aim of the present thesis was to explore the possibility that such a system might represent the neural correlate of sensory compensation after a damage to one sensory pathway. To this purpose, three experimental studies have been conducted, which addressed the immediate, short-term and long-term effects of audio-visual integration on patients with Visual Field Defect (VFD). Experiment 1 investigated whether the integration of stimuli from different modalities (cross-modal) and from the same modality (within-modal) have a different, immediate effect on localization behaviour. Patients had to localize modality-specific stimuli (visual or auditory), cross-modal stimulus pairs (visual-auditory) and within-modal stimulus pairs (visual-visual). Results showed that cross-modal stimuli evoked a greater improvement than within modal stimuli, consistent with a Bayesian explanation. Moreover, even when visual processing was impaired, cross-modal stimuli improved performance in an optimal fashion. These findings support the hypothesis that the improvement derived from multisensory integration is not attributable to simple target redundancy, and prove that optimal integration of cross-modal signals occurs in processing stage which are not consciously accessible. Experiment 2 examined the possibility to induce a short term improvement of localization performance without an explicit knowledge of visual stimulus. Patients with VFD and patients with neglect had to localize weak sounds before and after a brief exposure to a passive cross-modal stimulation, which comprised spatially disparate or spatially coincident audio-visual stimuli. After exposure to spatially disparate stimuli in the affected field, only patients with neglect exhibited a shifts of auditory localization toward the visual attractor (the so called Ventriloquism After-Effect). In contrast, after adaptation to spatially coincident stimuli, both neglect and hemianopic patients exhibited a significant improvement of auditory localization, proving the occurrence of After Effect for multisensory enhancement. These results suggest the presence of two distinct recalibration mechanisms, each mediated by a different neural route: a geniculo-striate circuit and a colliculus-extrastriate circuit respectively. Finally, Experiment 3 verified whether a systematic audio-visual stimulation could exert a long-lasting effect on patients’ oculomotor behaviour. Eye movements responses during a visual search task and a reading task were studied before and after visual (control) or audio-visual (experimental) training, in a group of twelve patients with VFD and twelve controls subjects. Results showed that prior to treatment, patients’ performance was significantly different from that of controls in relation to fixations and saccade parameters; after audiovisual training, all patients reported an improvement in ocular exploration characterized by fewer fixations and refixations, quicker and larger saccades, and reduced scanpath length. Similarly, reading parameters were significantly affected by the training, with respect to specific impairments observed in left and right hemisphere–damaged patients. The present findings provide evidence that a systematic audio-visual stimulation may encourage a more organized pattern of visual exploration with long lasting effects. In conclusion, results from these studies clearly demonstrate that the beneficial effects of audio-visual integration can be retained in absence of explicit processing of visual stimulus. Surprisingly, an improvement of spatial orienting can be obtained not only when a on-line response is required, but also after either a brief or a long adaptation to audio-visual stimulus pairs, so suggesting the maintenance of mechanisms subserving cross-modal perceptual learning after a damage to geniculo-striate pathway. The colliculus-extrastriate pathway, which is spared in patients with VFD, seems to play a pivotal role in this sensory compensation.