Looking through the eyes of the painter: from visual perception to non-photorealistic rendering

In this paper we present a brief overview of the processing in the primary visual cortex, the multi-scale line/edge and keypoint representations, and a model of brightness perception. This model, which is being extended from 1D to 2D, is based on a symbolic line and edge interpretation: lines are represented by scaled Gaussians and edges by scaled, Gaussian-windowed error functions. We show that this model, in combination with standard techniques from graphics, provides a very fertile basis for non-photorealistic image rendering.

Artistic rendering of the visual cortex

In this paper we explain the processing in the first layers of the visual cortex by simple, complex and endstopped cells, plus grouping cells for line, edge, keypoint and saliency detection. Three visualisations are presented: (a) an integrated scheme that shows activities of simple, complex and end-stopped cells, (b) artistic combinations of selected activity maps that give an impression of global image structure and/or local detail, and (c) NPR on the basis of a 2D brightness model. The cortical image representations offer many possibilities for non-photorealistic rendering.

Visual cortex frontend: integrating lines, edges, keypoints and disparaty

We present a 3D representation that is based on the pro- cessing in the visual cortex by simple, complex and end-stopped cells. We improved multiscale methods for line/edge and keypoint detection, including a method for obtaining vertex structure (i.e. T, L, K etc). We also describe a new disparity model. The latter allows to attribute depth to detected lines, edges and keypoints, i.e., the integration results in a 3D \wire-frame" representation suitable for object recognition.

Intrahemispheric dysfunction in primary motor cortex without corpus callosum: a transcranial magnetic stimulation study

Affiliation: Département de Psychologie, Université de Montréal

Plasticité intermodale chez le hamster énucléé à la naissance : Études de la distribution des interneurones CaBPir dans les cortex visuel et auditif primaires.

La période postnatale et l’expérience sensorielle sont critiques pour le développement du système visuel. Les interneurones inhibiteurs exprimant l’acide γ-aminobutyrique (GABA) jouent un rôle important dans le contrôle de l’activité neuronale, le raffinement et le traitement de l’information sensorielle qui parvient au cortex cérébral. Durant le développement, lorsque le cortex cérébral est très susceptible aux influences extrinsèques, le GABA agit dans la formation des périodes critiques de sensibilité ainsi que dans la plasticité dépendante de l’expérience. Ainsi, ce système inhibiteur servirait à ajuster le fonctionnement des aires sensorielles primaires selon les conditions spécifiques d’activité en provenance du milieu, des afférences corticales (thalamiques et autres) et de l’expérience sensorielle. Certaines études montrent que des différences dans la densité et la distribution de ces neurones inhibiteurs corticaux reflètent les caractéristiques fonctionnelles distinctes entre les différentes aires corticales. La Parvalbumine (PV), la Calretinine (CR) et la Calbindine (CB) sont des protéines chélatrices du calcium (calcium binding proteins ou CaBPs) localisées dans différentes sous-populations d’interneurones GABAergiques corticaux. Ces protéines tamponnent le calcium intracellulaire de sorte qu’elles peuvent moduler différemment plusieurs fonctions neuronales, notamment l’aspect temporel des potentiels d’action, la transmission synaptique et la potentialisation à long terme. Plusieurs études récentes montrent que les interneurones immunoréactifs (ir) aux CaBPs sont également très sensibles à l’expérience et à l’activité sensorielle durant le développement et chez l’adulte. Ainsi, ces neurones pourraient avoir un rôle crucial à jouer dans le phénomène de compensation ou de plasticité intermodale entre les cortex sensoriels primaires. Chez le hamster (Mesocricetus auratus), l’énucléation à la naissance fait en sorte que le cortex visuel primaire peut être recruté par les autres modalités sensorielles, telles que le toucher et l’audition. Suite à cette privation oculaire, il y a établissement de projections ectopiques permanentes entre les collicules inférieurs (CI) et le corps genouillé latéral (CGL). Ceci a pour effet d’acheminer l’information auditive vers le cortex visuel primaire (V1) durant le développement postnatal. À l’aide de ce modèle, l’objectif général de ce projet de thèse est d’étudier l’influence et le rôle de l’activité sensorielle sur la distribution et l’organisation des interneurones corticaux immunoréactifs aux CaBPs dans les aires sensorielles visuelle et auditive primaires du hamster adulte. Les changements dans l’expression des CaBPs ont été déterminés d’une manière quantitative en évaluant les profils de distribution laminaire de ces neurones révélés par immunohistochimie. Dans une première expérience, nous avons étudié la distribution laminaire des CaBPs dans les aires visuelle (V1) et auditive (A1) primaires chez le hamster normal adulte. Les neurones immunoréactifs à la PV et la CB, mais non à la CR, sont distribués différemment dans ces deux cortex primaires dédiés à une modalité sensorielle différente. Dans une deuxième étude, une comparaison a été effectuée entre des animaux contrôles et des hamsters énucléés à la naissance. Cette étude montre que le cortex visuel primaire de ces animaux adopte une chimioarchitecture en PV similaire à celle du cortex auditif. Nos recherches montrent donc qu’une suppression de l’activité visuelle à la naissance peut influencer l’expression des CaBPs dans l’aire V1 du hamster adulte. Ceci suggère également que le type d’activité des afférences en provenance d’autres modalités sensorielles peut moduler, en partie, une circuiterie corticale en CaBPs qui lui est propre dans le cortex hôte ou recruté. Ainsi, nos travaux appuient l’hypothèse selon laquelle il serait possible que certaines de ces sous-populations d’interneurones GABAergiques jouent un rôle crucial dans le phénomène de la plasticité intermodale.

Les cartes fonctionnelles dans le cortex visuel du chat : nouvelles stratégies d’évaluation en imagerie optique et mise en évidence de l’organisation anatomo-fonctionnelle

Le regroupement des neurones de propriétés similaires est à l’origine de modules permettant d’optimiser l’analyse de l’information. La conséquence est la présence de cartes fonctionnelles dans le cortex visuel primaire de certains mammifères pour de nombreux paramètres tels que l’orientation, la direction du mouvement ou la position des stimuli (visuotopie). Le premier volet de cette thèse est consacré à caractériser l’organisation modulaire dans le cortex visuel primaire pour un paramètre fondamental, la suppression centre / pourtour et au delà du cortex visuel primaire (dans l’aire 21a), pour l’orientation et la direction. Toutes les études ont été effectuées à l’aide de l’imagerie optique des signaux intrinsèques sur le cortex visuel du chat anesthésié. La quantification de la modulation par la taille des stimuli à permis de révéler la présence de modules de forte et de faible suppression par le pourtour dans le cortex visuel primaire (aires 17 et 18). Ce type d’organisation n’avait été observé jusqu’ici que dans une aire de plus haut niveau hiérarchique chez le primate. Une organisation modulaire pour l’orientation, similaire à celle observée dans le cortex visuel primaire a été révélée dans l’aire 21a. Par contre, contrairement à l’aire 18, l’aire 21a ne semblait pas être organisée en domaine de direction. L’ensemble de ces résultats pourront permettre d’alimenter les connaissances sur l’organisation anatomo-fonctionnelle du cortex visuel du chat mais également de mieux comprendre les facteurs qui déterminent la présence d’une organisation modulaire. Le deuxième volet abordé dans cette thèse s’est intéressé à l’amélioration de l’aspect quantitatif apporté par l’analyse temporelle en imagerie optique des signaux intrinsèques. Cette nouvelle approche, basée sur l’analyse de Fourier a permis d’augmenter considérablement le rapport signal / bruit des enregistrements. Toutefois, cette analyse ne s’est basée jusqu’ici que sur la quantification d’une seule harmonique ce qui a limité son emploi à la cartographie de l’orientation et de rétinotopie uniquement. En exploitant les plus hautes harmoniques, un modèle a été proposé afin d’estimer la taille des champs récepteurs et la sélectivité à la direction. Ce modèle a par la suite été validé par des approches conventionnelles dans le cortex visuel primaire.

Codage de l’information visuelle par la plasticité et la synchronisation des réponses neuronales dans le cortex visuel primaire du chat

Les systèmes sensoriels encodent l’information sur notre environnement sous la forme d’impulsions électriques qui se propagent dans des réseaux de neurones. Élucider le code neuronal – les principes par lesquels l’information est représentée dans l’activité des neurones – est une question fondamentale des neurosciences. Cette thèse constituée de 3 études (E) s’intéresse à deux types de codes, la synchronisation et l’adaptation, dans les neurones du cortex visuel primaire (V1) du chat. Au niveau de V1, les neurones sont sélectifs pour des propriétés comme l’orientation des contours, la direction et la vitesse du mouvement. Chaque neurone ayant une combinaison de propriétés pour laquelle sa réponse est maximale, l’information se retrouve distribuée dans différents neurones situés dans diverses colonnes et aires corticales. Un mécanisme potentiel pour relier l’activité de neurones répondant à des items eux-mêmes reliés (e.g. deux contours appartenant au même objet) est la synchronisation de leur activité. Cependant, le type de relations potentiellement encodées par la synchronisation n’est pas entièrement clair (E1). Une autre stratégie de codage consiste en des changements transitoires des propriétés de réponse des neurones en fonction de l’environnement (adaptation). Cette plasticité est présente chez le chat adulte, les neurones de V1 changeant d’orientation préférée après exposition à une orientation non préférée. Cependant, on ignore si des neurones spatialement proches exhibent une plasticité comparable (E2). Finalement, nous avons étudié la dynamique de la relation entre synchronisation et plasticité des propriétés de réponse (E3). Résultats principaux — (E1) Nous avons montré que deux stimuli en mouvement soit convergent soit divergent élicitent plus de synchronisation entre les neurones de V1 que deux stimuli avec la même direction. La fréquence de décharge n’était en revanche pas différente en fonction du type de stimulus. Dans ce cas, la synchronisation semble coder pour la relation de cocircularité dont le mouvement convergent (centripète) et divergent (centrifuge) sont deux cas particuliers, et ainsi pourrait jouer un rôle dans l’intégration des contours. Cela indique que la synchronisation code pour une information qui n’est pas présente dans la fréquence de décharge des neurones. (E2) Après exposition à une orientation non préférée, les neurones changent d’orientation préférée dans la même direction que leurs voisins dans 75% des cas. Plusieurs propriétés de réponse des neurones de V1 dépendent de leur localisation dans la carte fonctionnelle corticale pour l’orientation. Les comportements plus diversifiés des 25% de neurones restants sont le fait de différences fonctionnelles que nous avons observé et qui suggèrent une localisation corticale particulière, les singularités, tandis que la majorité des neurones semblent situés dans les domaines d’iso-orientation. (E3) Après adaptation, les paires de neurones dont les propriétés de réponse deviennent plus similaires montrent une synchronisation accrue. Après récupération, la synchronisation retourne à son niveau initial. Par conséquent, la synchronisation semble refléter de façon dynamique la similarité des propriétés de réponse des neurones. Conclusions — Cette thèse contribue à notre connaissance des capacités d’adaptation de notre système visuel à un environnement changeant. Nous proposons également des données originales liées au rôle potentiel de la synchronisation. En particulier, la synchronisation semble capable de coder des relations entre objets similaires ou dissimilaires, suggérant l’existence d’assemblées neuronales superposées.

Analyse des réponses neuronales du cortex visuel primaire du chat à la fréquence spatiale suite à des adaptations répétées

Les neurones du cortex visuel primaire (aire 17) du chat adulte répondent de manière sélective à différentes propriétés d’une image comme l’orientation, le contraste ou la fréquence spatiale. Cette sélectivité se manifeste par une réponse sous forme de potentiels d’action dans les neurones visuels lors de la présentation d’une barre lumineuse de forme allongée dans les champs récepteurs de ces neurones. La fréquence spatiale (FS) se mesure en cycles par degré (cyc./deg.) et se définit par la quantité de barres lumineuses claires et sombres présentées à une distance précise des yeux. Par ailleurs, jusqu’à récemment, l’organisation corticale chez l’adulte était considérée immuable suite à la période critique post-natale. Or, lors de l'imposition d'un stimulus non préféré, nous avons observé un phénomène d'entrainement sous forme d'un déplacement de la courbe de sélectivité à la suite de l'imposition d'une FS non-préférée différente de la fréquence spatiale optimale du neurone. Une deuxième adaptation à la même FS non-préférée induit une réponse neuronale différente par rapport à la première imposition. Ce phénomène de "gain cortical" avait déjà été observé dans le cortex visuel primaire pour ce qui est de la sélectivité à l'orientation des barres lumineuses, mais non pour la fréquence spatiale. Une telle plasticité à court terme pourrait être le corrélat neuronal d'une modulation de la pondération relative du poids des afférences synaptiques.

Effet de la transmission cholinergique sur la cartographie fonctionnelle du cortex visuel du rongeur

La transmission cholinergique, et notamment muscarinique, joue un rôle déterminant dans le système nerveux central au niveau de la modulation de la plasticité neuronale. La libération d'ACh dans le cortex visuel est concomitante à la présentation de stimuli visuels. Par son action sur la transmission neuronale corticale, l'ACh module à long terme les réponses à de nouveaux stimuli sensoriels. Dans la présente étude, l'implication du système cholinergique au niveau du développement cortical et de la plasticité inductible chez l'adulte a été étudiée par les techniques d'imagerie optique des signaux intrinsèques et d'immunohistochimie chez le rongeur. Ces deux techniques de cartographie de l'activité corticale nous ont permis d'évaluer, d'une part, l'impact modulatoire de l'acétylcholine (ACh) et de ses récepteurs muscariniques (mAChRs, M1 à M5) sur l'organisation fonctionnelle du cortex visuel chez des souris déficitaires pour les mAChRs et, d'autre part, l'impact de la libération d'ACh lors d'un entraînement visuel, sur le nombre, la nature neurochimique et la localisation au niveau des couches corticales des neurones corticaux activés. L'implication du système cholinergique sur la cartographie du cortex visuel primaire a été étudiée sur les souris génétiquement modifiées délétères (knock out : KO) pour différentes combinaisons de sous-types de mAChRs. L'imagerie des signaux intrinsèques, basée sur les changements de réflectance corticale de la lumière survenant lors de la consommation d'oxygène par les neurones activés, a permis de déterminer, lors de stimulations visuelles, les différentes composantes des propriétés des neurones du cortex visuel. La taille des champs récepteurs des neurones est diminuée lors de l'absence du récepteur M1 ou de la combinaison M1/M3. Le champ visuel apparent est augmenté chez les souris M2/M4-KO mais diminué chez les M1-KO. La finesse des connectivités neuronales (évaluée par la mesure du scatter du signal) est réduite lors de l'absence des récepteurs M2/M4. Finalement, chez les animaux M1/M3-KO, une diminution de l'acuité visuelle est observée. L'effet à long-terme d'un entraînement visuel couplé à une stimulation des neurones cholinergiques sur la distribution et la nature des neurones immunoréactifs au c-Fos, c'est-à-dire les neurones activés, a été évalué. Puisque cette stimulation combinée est en mesure de produire des modifications comportementales, notamment au niveau de l'acuité visuelle, il devenait intéressant de s'attarder aux modifications neuroanatomiques et de déterminer quels éléments de l'équilibre excitateur/inhibiteur sont compromis chez ces animaux. Les résultats obtenus démontrent que les animaux ayant reçu une combinaison de l'entraînement cholinergique et visuel présentent une augmentation du marquage c-Fos comparativement aux animaux n'ayant reçu que la stimulation cholinergique. D'autre part, chez ces animaux, il est possible d'observer des modifications de l'équilibre excitateur/inhibiteur qui correspond au potentiel plastique de la région. En conclusion, ces études démontrent un rôle important du système cholinergique dans le développement, la maturation et la plasticité du système visuel cérébral.

Asymétries fonctionnelles du cortex visuel observées par spectroscopie proche de l’infrarouge fonctionnelle

Les objectifs de ce mémoire sont d’étudier la rétinotopie et les asymétries fonctionnelles du cortex visuel chez l’humain avec la spectroscopie proche de l’infrarouge fonctionnelle (SPIRf), tout en confirmant la fiabilité de cette technique. Tel qu’attendu, les résultats montrent une activation plus forte dans l’hémisphère controlatéral et dans le cortex haut/bas inverse à l’hémichamp stimulé. Nous avons également mesuré une activation significativement plus forte dans le cortex visuel supérieur (lorsque le champ visuel inférieur était stimulé) que l’activation dans le cortex visuel inférieur (lorsque le champ visuel supérieur était stimulé), surtout lorsque ces stimuli étaient présentés dans le champ visuel droit. Il s’agit de la première étude en SPIRf à observer les asymétries horizontale et verticale du cortex visuel et à ainsi confirmer l’existence de ces asymétries. Cette étude témoigne également de la fiabilité de la SPIRf comme technique d’imagerie pour cartographier le cerveau humain.

Vector-Based Integration of Local and Long-Range Information in Visual Cortex

Integration of inputs by cortical neurons provides the basis for the complex information processing performed in the cerebral cortex. Here, we propose a new analytic framework for understanding integration within cortical neuronal receptive fields. Based on the synaptic organization of cortex, we argue that neuronal integration is a systems--level process better studied in terms of local cortical circuitry than at the level of single neurons, and we present a method for constructing self-contained modules which capture (nonlinear) local circuit interactions. In this framework, receptive field elements naturally have dual (rather than the traditional unitary influence since they drive both excitatory and inhibitory cortical neurons. This vector-based analysis, in contrast to scalarsapproaches, greatly simplifies integration by permitting linear summation of inputs from both "classical" and "extraclassical" receptive field regions. We illustrate this by explaining two complex visual cortical phenomena, which are incompatible with scalar notions of neuronal integration.

The primary somatosensory cortex largely contributes to the early part of the cortical response elicited by nociceptive stimuli.

Research on the cortical sources of nociceptive laser-evoked brain potentials (LEPs) began almost two decades ago (Tarkka and Treede, 1993). Whereas there is a large consensus on the sources of the late part of the LEP waveform (N2 and P2 waves), the relative contribution of the primary somatosensory cortex (S1) to the early part of the LEP waveform (N1 wave) is still debated. To address this issue we recorded LEPs elicited by the stimulation of four limbs in a large population (n=35). Early LEP generators were estimated both at single-subject and group level, using three different approaches: distributed source analysis, dipolar source modeling, and probabilistic independent component analysis (ICA). We show that the scalp distribution of the earliest LEP response to hand stimulation was maximal over the central-parietal electrodes contralateral to the stimulated side, while that of the earliest LEP response to foot stimulation was maximal over the central-parietal midline electrodes. Crucially, all three approaches indicated hand and foot S1 areas as generators of the earliest LEP response. Altogether, these findings indicate that the earliest part of the scalp response elicited by a selective nociceptive stimulus is largely explained by activity in the contralateral S1, with negligible contribution from the secondary somatosensory cortex (S2).

Associating spontaneous with evoked activity in a neural mass model of cat visual cortex

Spontaneous activity of the brain at rest frequently has been considered a mere backdrop to the salient activity evoked by external stimuli or tasks. However, the resting state of the brain consumes most of its energy budget, which suggests a far more important role. An intriguing hint comes from experimental observations of spontaneous activity patterns, which closely resemble those evoked by visual stimulation with oriented gratings, except that cortex appeared to cycle between different orientation maps. Moreover, patterns similar to those evoked by the behaviorally most relevant horizontal and vertical orientations occurred more often than those corresponding to oblique angles. We hypothesize that this kind of spontaneous activity develops at least to some degree autonomously, providing a dynamical reservoir of cortical states, which are then associated with visual stimuli through learning. To test this hypothesis, we use a biologically inspired neural mass model to simulate a patch of cat visual cortex. Spontaneous transitions between orientation states were induced by modest modifications of the neural connectivity, establishing a stable heteroclinic channel. Significantly, the experimentally observed greater frequency of states representing the behaviorally important horizontal and vertical orientations emerged spontaneously from these simulations. We then applied bar-shaped inputs to the model cortex and used Hebbian learning rules to modify the corresponding synaptic strengths. After unsupervised learning, different bar inputs reliably and exclusively evoked their associated orientation state; whereas in the absence of input, the model cortex resumed its spontaneous cycling. We conclude that the experimentally observed similarities between spontaneous and evoked activity in visual cortex can be explained as the outcome of a learning process that associates external stimuli with a preexisting reservoir of autonomous neural activity states. Our findings hence demonstrate how cortical connectivity can link the maintenance of spontaneous activity in the brain mechanistically to its core cognitive functions.

Direct evidence for attention-dependent influences of the frontal eye-fields on feature-responsive visual cortex

Voluntary selective attention can prioritize different features in a visual scene. The frontal eye-fields (FEF) are one potential source of such feature-specific top-down signals, but causal evidence for influences on visual cortex (as was shown for "spatial" attention) has remained elusive. Here, we show that transcranial magnetic stimulation (TMS) applied to right FEF increased the blood oxygen level-dependent (BOLD) signals in visual areas processing "target feature" but not in "distracter feature"-processing regions. TMS-induced BOLD signals increase in motion-responsive visual cortex (MT+) when motion was attended in a display with moving dots superimposed on face stimuli, but in face-responsive fusiform area (FFA) when faces were attended to. These TMS effects on BOLD signal in both regions were negatively related to performance (on the motion task), supporting the behavioral relevance of this pathway. Our findings provide new causal evidence for the human FEF in the control of nonspatial "feature"-based attention, mediated by dynamic influences on feature-specific visual cortex that vary with the currently attended property.