Alternative Time Representation in Dopamine Models

Groupe de recherche sur le système nerveux central, Département d'informatique et de recherche opérationnelle, Département de physiologie.

Modèle informatique du coapprentissage des ganglions de la base et du cortex : l'apprentissage par renforcement et le développement de représentations

Tout au long de la vie, le cerveau développe des représentations de son environnement permettant à l’individu d’en tirer meilleur profit. Comment ces représentations se développent-elles pendant la quête de récompenses demeure un mystère. Il est raisonnable de penser que le cortex est le siège de ces représentations et que les ganglions de la base jouent un rôle important dans la maximisation des récompenses. En particulier, les neurones dopaminergiques semblent coder un signal d’erreur de prédiction de récompense. Cette thèse étudie le problème en construisant, à l’aide de l’apprentissage machine, un modèle informatique intégrant de nombreuses évidences neurologiques. Après une introduction au cadre mathématique et à quelques algorithmes de l’apprentissage machine, un survol de l’apprentissage en psychologie et en neuroscience et une revue des modèles de l’apprentissage dans les ganglions de la base, la thèse comporte trois articles. Le premier montre qu’il est possible d’apprendre à maximiser ses récompenses tout en développant de meilleures représentations des entrées. Le second article porte sur l'important problème toujours non résolu de la représentation du temps. Il démontre qu’une représentation du temps peut être acquise automatiquement dans un réseau de neurones artificiels faisant office de mémoire de travail. La représentation développée par le modèle ressemble beaucoup à l’activité de neurones corticaux dans des tâches similaires. De plus, le modèle montre que l’utilisation du signal d’erreur de récompense peut accélérer la construction de ces représentations temporelles. Finalement, il montre qu’une telle représentation acquise automatiquement dans le cortex peut fournir l’information nécessaire aux ganglions de la base pour expliquer le signal dopaminergique. Enfin, le troisième article évalue le pouvoir explicatif et prédictif du modèle sur différentes situations comme la présence ou l’absence d’un stimulus (conditionnement classique ou de trace) pendant l’attente de la récompense. En plus de faire des prédictions très intéressantes en lien avec la littérature sur les intervalles de temps, l’article révèle certaines lacunes du modèle qui devront être améliorées. Bref, cette thèse étend les modèles actuels de l’apprentissage des ganglions de la base et du système dopaminergique au développement concurrent de représentations temporelles dans le cortex et aux interactions de ces deux structures.

Computational prediction of neural progenitor cell fates

Understanding how stem and progenitor cells choose between alternative cell fates is a major challenge in developmental biology. Efforts to tackle this problem have been hampered by the scarcity of markers that can be used to predict cell division outcomes. Here we present a computational method, based on algorithmic information theory, to analyze dynamic features of living cells over time. Using this method, we asked whether rat retinal progenitor cells (RPCs) display characteristic phenotypes before undergoing mitosis that could foretell their fate. We predicted whether RPCs will undergo a self-renewing or terminal division with 99% accuracy, or whether they will produce two photoreceptors or another combination of offspring with 87% accuracy. Our implementation can segment, track and generate predictions for 40 cells simultaneously on a standard computer at 5 min per frame. This method could be used to isolate cell populations with specific developmental potential, enabling previously impossible investigations.

Neural correlates of affordance competition in dorsal premotor cortex

Le travail présenté dans cette thèse porte sur le rôle du cortex prémoteur dorsal (PMd) au sujet de la prise de décision (sélection d’une action parmis nombreux choix) et l'orientation visuelle des mouvements du bras. L’ouvrage décrit des expériences électrophysiologiques chez le singe éveillé (Macaca mulatta) permettant d’adresser une fraction importante des prédictions proposées par l'hypothèse des affordances concurrentes (Cisek, 2006; Cisek, 2007a). Cette hypothèse suggère que le choix de toute action est l’issue d'une concurrence entre les représentations internes des exigences et des atouts de chacune des options présentées (affordances; Gibson, 1979). Un intérêt particulier est donné au traitement de l'information spatiale et la valeur des options (expected value, EV) dans la prise de décisions. La première étude (article 1) explore la façon dont PMd reflète ces deux paramètres dans la période délai ainsi que de leur intéraction. La deuxième étude (article 2) explore le mécanisme de décision de façon plus détaillée et étend les résultats au cortex prémoteur ventral (PMv). Cette étude porte également sur la représentation spatiale et l’EV dans une perspective d'apprentissage. Dans un environnement nouveau les paramètres spatiaux des actions semblent être présents en tout temps dans PMd, malgré que la représentation de l’EV apparaît uniquement lorsque les animaux commencent à prendre des décisions éclairées au sujet de la valeur des options disponibles. La troisième étude (article 3) explore la façon dont PMd est impliqué aux “changements d'esprit“ dans un procès de décision. Cette étude décrit comment la sélection d’une action est mise à jour à la suite d'une instruction de mouvement (GO signal). I II Les résultats principaux des études sont reproduits par un modèle computationnel (Cisek, 2006) suggérant que la prise de décision entre plusieurs actions alternatives peux se faire par voie d’un mécanisme de concurrence (biased competition) qui aurait lieu dans la même région qui spécifie les actions.

A computational fluid dynamic study on the filtering mechanics in suspension feeding marine invertebrates

Les suspensivores ont la tâche importante de séparer les particules de l'eau. Bien qu'une grande gamme de morphologies existe pour les structures d'alimentation, elles sont pratiquement toutes constituées de rangées de cylindres qui interagissent avec leur environnement fluide. Le mécanisme de capture des particules utilisé dépend des contraintes morphologiques, des besoins énergétiques et des conditions d'écoulement. Comme nos objectifs étaient de comprendre ces relations, nous avons eu recours à des études de comparaison pour interpréter les tendances en nature et pour comprendre les conditions qui provoquent de nouveaux fonctionnements. Nous avons utilisé la dynamique des fluides numérique (computational fluid dynamics, CFD) pour créer des expériences contrôlées et pour simplifier les analyses. Notre première étude démontre que les coûts énergétiques associés au pompage dans les espaces petits sont élevés. De plus, le CFD suggère que les fentes branchiales des ptérobranches sont des structures rudimentaires, d'un ancêtre plus grande. Ce dernier point confirme l'hypothèse qu'un ver se nourrit par filtration tel que l'ancêtre des deuterostomes. Notre deuxième étude détermine la gamme du nombre de Reynolds number critique où la performance d'un filtre de balane change. Quand le Re est très bas, les différences morphologiques n'ont pas un grand effet sur le fonctionnement. Cependant, une pagaie devient une passoire lorsque le Re se trouve entre 1 et 3,5. Le CFD s’est dévoilé être un outil très utile qui a permis d’obtenir des détails sur les microfluides. Ces études montrent comment la morphologie et les dynamiques des fluides interagissent avec la mécanisme de capture ou de structures utilisées, ainsi que comment des petits changements de taille, de forme, ou de vitesse d'écoulement peuvent conduire à un nouveau fonctionnement.

Reconsidering the concept of ‘dual-use’ in the context of neuroscience research

Commentaire / Commentary

Étude du cortex prémoteur et préfrontal lors de la prise de décision pendant l'intégration temporelle des informations

Une variété de modèles sur le processus de prise de décision dans divers contextes présume que les sujets accumulent les évidences sensorielles, échantillonnent et intègrent constamment les signaux pour et contre des hypothèses alternatives. L'intégration continue jusqu'à ce que les évidences en faveur de l'une des hypothèses dépassent un seuil de critère de décision (niveau de preuve exigé pour prendre une décision). De nouveaux modèles suggèrent que ce processus de décision est plutôt dynamique; les différents paramètres peuvent varier entre les essais et même pendant l’essai plutôt que d’être un processus statique avec des paramètres qui ne changent qu’entre les blocs d’essais. Ce projet de doctorat a pour but de démontrer que les décisions concernant les mouvements d’atteinte impliquent un mécanisme d’accumulation temporelle des informations sensorielles menant à un seuil de décision. Pour ce faire, nous avons élaboré un paradigme de prise de décision basée sur un stimulus ambigu afin de voir si les neurones du cortex moteur primaire (M1), prémoteur dorsal (PMd) et préfrontal (DLPFc) démontrent des corrélats neuronaux de ce processus d’accumulation temporelle. Nous avons tout d’abord testé différentes versions de la tâche avec l’aide de sujets humains afin de développer une tâche où l’on observe le comportement idéal des sujets pour nous permettre de vérifier l’hypothèse de travail. Les données comportementales chez l’humain et les singes des temps de réaction et du pourcentage d'erreurs montrent une augmentation systématique avec l'augmentation de l'ambigüité du stimulus. Ces résultats sont cohérents avec les prédictions des modèles de diffusion, tel que confirmé par une modélisation computationnelle des données. Nous avons, par la suite, enregistré des cellules dans M1, PMd et DLPFc de 2 singes pendant qu'ils s'exécutaient à la tâche. Les neurones de M1 ne semblent pas être influencés par l'ambiguïté des stimuli mais déchargent plutôt en corrélation avec le mouvement exécuté. Les neurones du PMd codent la direction du mouvement choisi par les singes, assez rapidement après la présentation du stimulus. De plus, l’activation de plusieurs cellules du PMd est plus lente lorsque l'ambiguïté du stimulus augmente et prend plus de temps à signaler la direction de mouvement. L’activité des neurones du PMd reflète le choix de l’animal, peu importe si c’est une bonne réponse ou une erreur. Ceci supporte un rôle du PMd dans la prise de décision concernant les mouvements d’atteinte. Finalement, nous avons débuté des enregistrements dans le cortex préfrontal et les résultats présentés sont préliminaires. Les neurones du DLPFc semblent beaucoup plus influencés par les combinaisons des facteurs de couleur et de position spatiale que les neurones du PMd. Notre conclusion est que le cortex PMd est impliqué dans l'évaluation des évidences pour ou contre la position spatiale de différentes cibles potentielles mais assez indépendamment de la couleur de celles-ci. Le cortex DLPFc serait plutôt responsable du traitement des informations pour la combinaison de la couleur et de la position des cibles spatiales et du stimulus ambigu nécessaire pour faire le lien entre le stimulus ambigu et la cible correspondante.

A theoretical and experimental dissociation of two models of decision‐making

La prise de décision est un processus computationnel fondamental dans de nombreux aspects du comportement animal. Le modèle le plus souvent rencontré dans les études portant sur la prise de décision est appelé modèle de diffusion. Depuis longtemps, il explique une grande variété de données comportementales et neurophysiologiques dans ce domaine. Cependant, un autre modèle, le modèle d’urgence, explique tout aussi bien ces mêmes données et ce de façon parcimonieuse et davantage encrée sur la théorie. Dans ce travail, nous aborderons tout d’abord les origines et le développement du modèle de diffusion et nous verrons comment il a été établi en tant que cadre de travail pour l’interprétation de la plupart des données expérimentales liées à la prise de décision. Ce faisant, nous relèveront ses points forts afin de le comparer ensuite de manière objective et rigoureuse à des modèles alternatifs. Nous réexaminerons un nombre d’assomptions implicites et explicites faites par ce modèle et nous mettrons alors l’accent sur certains de ses défauts. Cette analyse servira de cadre à notre introduction et notre discussion du modèle d’urgence. Enfin, nous présenterons une expérience dont la méthodologie permet de dissocier les deux modèles, et dont les résultats illustrent les limites empiriques et théoriques du modèle de diffusion et démontrent en revanche clairement la validité du modèle d'urgence. Nous terminerons en discutant l'apport potentiel du modèle d'urgence pour l'étude de certaines pathologies cérébrales, en mettant l'accent sur de nouvelles perspectives de recherche.

L’intégration de la prise de décision visuo-motrice et d’action motrice dans des conditions ambiguës

La prise de décision est un mécanisme qui fait intervenir les structures neuronales supérieures afin d’effectuer un lien entre la perception du signal et l’action. Plusieurs travaux qui cherchent à comprendre les mécanismes de la prise de décision sont menés à divers ni- veaux allant de l’analyse comportementale cognitive jusqu'à la modélisation computationnelle. Le but de ce projet a été d’évaluer d’un instant à l’autre comment la variabilité du signal observé («bruit»), influence la capacité des sujets humains à détecter la direction du mouvement dans un stimulus visuel. Dans ces travaux, nous avons éliminé l’une des sources potentielles de variabilité, la variabilité d’une image à l’autre, dans le nombre de points qui portaient les trois signaux de mouvements cohérents (gauche, droite, et aléatoire) dans les stimuli de Kinématogramme de points aléatoires (KPA), c’est-à-dire la variabilité d’origine périphérique. Les stimuli KPA de type « V6 » étaient des stimuli KPA standard avec une variabilité instantanée du signal, et par contre les stimuli KPA de type « V8 », étaient modifiés pour éliminer la variabilité stochastique due à la variabilité du nombre de pixels d’un instant à l’autre qui portent le signal cohérent. Si la performance des sujets, qui correspond à leur temps de réaction et au nombre de bonnes réponses, diffère en réponse aux stimuli dont le nombre de points en mouvement cohérent varie (V6) ou ne varie pas (V8), ceci serait une preuve que la variabilité d’origine périphérique modulerait le processus décisionnel. Par contre, si la performance des sujets ne diffère pas entre ces deux types de stimuli, ceci serait une preuve que la source majeure de variabilité de performance est d’origine centrale. Dans nos résultats nous avons constaté que le temps de réaction et le nombre de bonnes réponses sont modulés par la preuve nette du mouvement cohérent. De plus on a pu établir qu’en éliminant la variabilité d’origine périphérique définit ci-dessus, on n’observe pas réellement de modification dans les enregistrements. Ce qui nous à amené à penser qu’il n y a pas de distinction claire entre la distribution des erreurs et les bonnes réponses effectuées pour chacun des essais entre les deux stimuli que nous avons utilisé : V6 et V8. C’est donc après avoir mesuré la « quantité d’énergie » que nous avons proposé que la variabilité observée dans les résultats serait probablement d’origine centrale.

Mécanismes psychophysiques et neuronaux de la compensation dynamique de multiples champs de force : facilitation et anticipation liée à des indices de couleur

Dans cette thèse, nous abordons le contrôle moteur du mouvement du coude à travers deux approches expérimentales : une première étude psychophysique a été effectuée chez les sujets humains, et une seconde implique des enregistrements neurophysiologiques chez le singe. Nous avons recensé plusieurs aspects non résolus jusqu’à présent dans l’apprentissage moteur, particulièrement concernant l’interférence survenant lors de l’adaptation à deux ou plusieurs champs de force anti-corrélés. Nous avons conçu un paradigme où des stimuli de couleur aident les sujets à prédire la nature du champ de force externe actuel avant qu’ils ne l’expérimentent physiquement durant des mouvements d’atteinte. Ces connaissances contextuelles faciliteraient l’adaptation à des champs de forces en diminuant l’interférence. Selon le modèle computationnel de l’apprentissage moteur MOSAIC (MOdular Selection And Identification model for Control), les stimuli de couleur aident les sujets à former « un modèle interne » de chaque champ de forces, à s’en rappeler et à faire la transition entre deux champs de force différents, sans interférence. Dans l’expérience psychophysique, quatre groupes de sujets humains ont exécuté des mouvements de flexion/extension du coude contre deux champs de forces. Chaque force visqueuse était associée à une couleur de l’écran de l’ordinateur et les deux forces étaient anti-corrélées : une force résistante (Vr) a été associée à la couleur rouge de l’écran et l’autre, assistante (Va), à la couleur verte de l’écran. Les deux premiers groupes de sujets étaient des groupes témoins : la couleur de l’écran changeait à chaque bloc de 4 essais, tandis que le champ de force ne changeait pas. Les sujets du groupe témoin Va ne rencontraient que la force assistante Va et les sujets du groupe témoin Vr performaient leurs mouvements uniquement contre une force résistante Vr. Ainsi, dans ces deux groupes témoins, les stimuli de couleur n’étaient pas pertinents pour adapter le mouvement et les sujets ne s’adaptaient qu’à une seule force (Va ou Vr). Dans les deux groupes expérimentaux, cependant, les sujets expérimentaient deux champs de forces différents dans les différents blocs d’essais (4 par bloc), associés à ces couleurs. Dans le premier groupe expérimental (groupe « indice certain », IC), la relation entre le champ de force et le stimulus (couleur de l’écran) était constante. La couleur rouge signalait toujours la force Vr tandis que la force Va était signalée par la couleur verte. L’adaptation aux deux forces anti-corrélées pour le groupe IC s’est avérée significative au cours des 10 jours d’entraînement et leurs mouvements étaient presque aussi bien ajustés que ceux des deux groupes témoins qui n’avaient expérimenté qu’une seule des deux forces. De plus, les sujets du groupe IC ont rapidement démontré des changements adaptatifs prédictifs dans leurs sorties motrices à chaque changement de couleur de l’écran, et ceci même durant leur première journée d’entraînement. Ceci démontre qu’ils pouvaient utiliser les stimuli de couleur afin de se rappeler de la commande motrice adéquate. Dans le deuxième groupe expérimental, la couleur de l’écran changeait régulièrement de vert à rouge à chaque transition de blocs d’essais, mais le changement des champs de forces était randomisé par rapport aux changements de couleur (groupe « indice-incertain », II). Ces sujets ont pris plus de temps à s’adapter aux champs de forces que les 3 autres groupes et ne pouvaient pas utiliser les stimuli de couleurs, qui n’étaient pas fiables puisque non systématiquement reliés aux champs de forces, pour faire des changements prédictifs dans leurs sorties motrices. Toutefois, tous les sujets de ce groupe ont développé une stratégie ingénieuse leur permettant d’émettre une réponse motrice « par défaut » afin de palper ou de sentir le type de la force qu’ils allaient rencontrer dans le premier essai de chaque bloc, à chaque changement de couleur. En effet, ils utilisaient la rétroaction proprioceptive liée à la nature du champ de force afin de prédire la sortie motrice appropriée pour les essais qui suivent, jusqu’au prochain changement de couleur d’écran qui signifiait la possibilité de changement de force. Cette stratégie était efficace puisque la force demeurait la même dans chaque bloc, pendant lequel la couleur de l’écran restait inchangée. Cette étude a démontré que les sujets du groupe II étaient capables d’utiliser les stimuli de couleur pour extraire des informations implicites et explicites nécessaires à la réalisation des mouvements, et qu’ils pouvaient utiliser ces informations pour diminuer l’interférence lors de l’adaptation aux forces anti-corrélées. Les résultats de cette première étude nous ont encouragés à étudier les mécanismes permettant aux sujets de se rappeler d’habiletés motrices multiples jumelées à des stimuli contextuels de couleur. Dans le cadre de notre deuxième étude, nos expériences ont été effectuées au niveau neuronal chez le singe. Notre but était alors d’élucider à quel point les neurones du cortex moteur primaire (M1) peuvent contribuer à la compensation d’un large éventail de différentes forces externes durant un mouvement de flexion/extension du coude. Par cette étude, nous avons testé l’hypothèse liée au modèle MOSAIC, selon laquelle il existe plusieurs modules contrôleurs dans le cervelet qui peuvent prédire chaque contexte et produire un signal de sortie motrice approprié pour un nombre restreint de conditions. Selon ce modèle, les neurones de M1 recevraient des entrées de la part de plusieurs contrôleurs cérébelleux spécialisés et montreraient ensuite une modulation appropriée de la réponse pour une large variété de conditions. Nous avons entraîné deux singes à adapter leurs mouvements de flexion/extension du coude dans le cadre de 5 champs de force différents : un champ nul ne présentant aucune perturbation, deux forces visqueuses anti-corrélées (assistante et résistante) qui dépendaient de la vitesse du mouvement et qui ressemblaient à celles utilisées dans notre étude psychophysique chez l’homme, une force élastique résistante qui dépendait de la position de l’articulation du coude et, finalement, un champ viscoélastique comportant une sommation linéaire de la force élastique et de la force visqueuse. Chaque champ de force était couplé à une couleur d’écran de l’ordinateur, donc nous avions un total de 5 couleurs différentes associées chacune à un champ de force (relation fixe). Les singes étaient bien adaptés aux 5 conditions de champs de forces et utilisaient les stimuli contextuels de couleur pour se rappeler de la sortie motrice appropriée au contexte de forces associé à chaque couleur, prédisant ainsi leur sortie motrice avant de sentir les effets du champ de force. Les enregistrements d’EMG ont permis d’éliminer la possibilité de co-contractions sous-tendant ces adaptations, étant donné que le patron des EMG était approprié pour compenser chaque condition de champ de force. En parallèle, les neurones de M1 ont montré des changements systématiques dans leurs activités, sur le plan unitaire et populationnel, dans chaque condition de champ de force, signalant les changements requis dans la direction, l’amplitude et le décours temporel de la sortie de force musculaire nécessaire pour compenser les 5 conditions de champs de force. Les changements dans le patron de réponse pour chaque champ de force étaient assez cohérents entre les divers neurones de M1, ce qui suggère que la plupart des neurones de M1 contribuent à la compensation de toutes les conditions de champs de force, conformément aux prédictions du modèle MOSAIC. Aussi, cette modulation de l’activité neuronale ne supporte pas l’hypothèse d’une organisation fortement modulaire de M1.

The neuroscience of cognitive enhancement : enhanced attention, working memory and visual information processing speed using 3D-MOT

Des interventions ciblant l’amélioration cognitive sont de plus en plus à l’intérêt dans nombreux domaines, y compris la neuropsychologie. Bien qu'il existe de nombreuses méthodes pour maximiser le potentiel cognitif de quelqu’un, ils sont rarement appuyé par la recherche scientifique. D’abord, ce mémoire examine brièvement l'état des interventions d'amélioration cognitives. Il décrit premièrement les faiblesses observées dans ces pratiques et par conséquent il établit un modèle standard contre lequel on pourrait et devrait évaluer les diverses techniques ciblant l'amélioration cognitive. Une étude de recherche est ensuite présenté qui considère un nouvel outil de l'amélioration cognitive, une tâche d’entrainement perceptivo-cognitive : 3-dimensional multiple object tracking (3D-MOT). Il examine les preuves actuelles pour le 3D-MOT auprès du modèle standard proposé. Les résultats de ce projet démontrent de l’augmentation dans les capacités d’attention, de mémoire de travail visuel et de vitesse de traitement d’information. Cette étude représente la première étape dans la démarche vers l’établissement du 3D-MOT comme un outil d’amélioration cognitive.