Alternative Time Representation in Dopamine Models

Groupe de recherche sur le système nerveux central, Département d'informatique et de recherche opérationnelle, Département de physiologie.

Modèle informatique du coapprentissage des ganglions de la base et du cortex : l'apprentissage par renforcement et le développement de représentations

Tout au long de la vie, le cerveau développe des représentations de son environnement permettant à l’individu d’en tirer meilleur profit. Comment ces représentations se développent-elles pendant la quête de récompenses demeure un mystère. Il est raisonnable de penser que le cortex est le siège de ces représentations et que les ganglions de la base jouent un rôle important dans la maximisation des récompenses. En particulier, les neurones dopaminergiques semblent coder un signal d’erreur de prédiction de récompense. Cette thèse étudie le problème en construisant, à l’aide de l’apprentissage machine, un modèle informatique intégrant de nombreuses évidences neurologiques. Après une introduction au cadre mathématique et à quelques algorithmes de l’apprentissage machine, un survol de l’apprentissage en psychologie et en neuroscience et une revue des modèles de l’apprentissage dans les ganglions de la base, la thèse comporte trois articles. Le premier montre qu’il est possible d’apprendre à maximiser ses récompenses tout en développant de meilleures représentations des entrées. Le second article porte sur l'important problème toujours non résolu de la représentation du temps. Il démontre qu’une représentation du temps peut être acquise automatiquement dans un réseau de neurones artificiels faisant office de mémoire de travail. La représentation développée par le modèle ressemble beaucoup à l’activité de neurones corticaux dans des tâches similaires. De plus, le modèle montre que l’utilisation du signal d’erreur de récompense peut accélérer la construction de ces représentations temporelles. Finalement, il montre qu’une telle représentation acquise automatiquement dans le cortex peut fournir l’information nécessaire aux ganglions de la base pour expliquer le signal dopaminergique. Enfin, le troisième article évalue le pouvoir explicatif et prédictif du modèle sur différentes situations comme la présence ou l’absence d’un stimulus (conditionnement classique ou de trace) pendant l’attente de la récompense. En plus de faire des prédictions très intéressantes en lien avec la littérature sur les intervalles de temps, l’article révèle certaines lacunes du modèle qui devront être améliorées. Bref, cette thèse étend les modèles actuels de l’apprentissage des ganglions de la base et du système dopaminergique au développement concurrent de représentations temporelles dans le cortex et aux interactions de ces deux structures.

Computational prediction of neural progenitor cell fates

Understanding how stem and progenitor cells choose between alternative cell fates is a major challenge in developmental biology. Efforts to tackle this problem have been hampered by the scarcity of markers that can be used to predict cell division outcomes. Here we present a computational method, based on algorithmic information theory, to analyze dynamic features of living cells over time. Using this method, we asked whether rat retinal progenitor cells (RPCs) display characteristic phenotypes before undergoing mitosis that could foretell their fate. We predicted whether RPCs will undergo a self-renewing or terminal division with 99% accuracy, or whether they will produce two photoreceptors or another combination of offspring with 87% accuracy. Our implementation can segment, track and generate predictions for 40 cells simultaneously on a standard computer at 5 min per frame. This method could be used to isolate cell populations with specific developmental potential, enabling previously impossible investigations.

Neural correlates of affordance competition in dorsal premotor cortex

Le travail présenté dans cette thèse porte sur le rôle du cortex prémoteur dorsal (PMd) au sujet de la prise de décision (sélection d’une action parmis nombreux choix) et l'orientation visuelle des mouvements du bras. L’ouvrage décrit des expériences électrophysiologiques chez le singe éveillé (Macaca mulatta) permettant d’adresser une fraction importante des prédictions proposées par l'hypothèse des affordances concurrentes (Cisek, 2006; Cisek, 2007a). Cette hypothèse suggère que le choix de toute action est l’issue d'une concurrence entre les représentations internes des exigences et des atouts de chacune des options présentées (affordances; Gibson, 1979). Un intérêt particulier est donné au traitement de l'information spatiale et la valeur des options (expected value, EV) dans la prise de décisions. La première étude (article 1) explore la façon dont PMd reflète ces deux paramètres dans la période délai ainsi que de leur intéraction. La deuxième étude (article 2) explore le mécanisme de décision de façon plus détaillée et étend les résultats au cortex prémoteur ventral (PMv). Cette étude porte également sur la représentation spatiale et l’EV dans une perspective d'apprentissage. Dans un environnement nouveau les paramètres spatiaux des actions semblent être présents en tout temps dans PMd, malgré que la représentation de l’EV apparaît uniquement lorsque les animaux commencent à prendre des décisions éclairées au sujet de la valeur des options disponibles. La troisième étude (article 3) explore la façon dont PMd est impliqué aux “changements d'esprit“ dans un procès de décision. Cette étude décrit comment la sélection d’une action est mise à jour à la suite d'une instruction de mouvement (GO signal). I II Les résultats principaux des études sont reproduits par un modèle computationnel (Cisek, 2006) suggérant que la prise de décision entre plusieurs actions alternatives peux se faire par voie d’un mécanisme de concurrence (biased competition) qui aurait lieu dans la même région qui spécifie les actions.

A computational fluid dynamic study on the filtering mechanics in suspension feeding marine invertebrates

Les suspensivores ont la tâche importante de séparer les particules de l'eau. Bien qu'une grande gamme de morphologies existe pour les structures d'alimentation, elles sont pratiquement toutes constituées de rangées de cylindres qui interagissent avec leur environnement fluide. Le mécanisme de capture des particules utilisé dépend des contraintes morphologiques, des besoins énergétiques et des conditions d'écoulement. Comme nos objectifs étaient de comprendre ces relations, nous avons eu recours à des études de comparaison pour interpréter les tendances en nature et pour comprendre les conditions qui provoquent de nouveaux fonctionnements. Nous avons utilisé la dynamique des fluides numérique (computational fluid dynamics, CFD) pour créer des expériences contrôlées et pour simplifier les analyses. Notre première étude démontre que les coûts énergétiques associés au pompage dans les espaces petits sont élevés. De plus, le CFD suggère que les fentes branchiales des ptérobranches sont des structures rudimentaires, d'un ancêtre plus grande. Ce dernier point confirme l'hypothèse qu'un ver se nourrit par filtration tel que l'ancêtre des deuterostomes. Notre deuxième étude détermine la gamme du nombre de Reynolds number critique où la performance d'un filtre de balane change. Quand le Re est très bas, les différences morphologiques n'ont pas un grand effet sur le fonctionnement. Cependant, une pagaie devient une passoire lorsque le Re se trouve entre 1 et 3,5. Le CFD s’est dévoilé être un outil très utile qui a permis d’obtenir des détails sur les microfluides. Ces études montrent comment la morphologie et les dynamiques des fluides interagissent avec la mécanisme de capture ou de structures utilisées, ainsi que comment des petits changements de taille, de forme, ou de vitesse d'écoulement peuvent conduire à un nouveau fonctionnement.

Reconsidering the concept of ‘dual-use’ in the context of neuroscience research

Commentaire / Commentary

Étude du cortex prémoteur et préfrontal lors de la prise de décision pendant l'intégration temporelle des informations

Une variété de modèles sur le processus de prise de décision dans divers contextes présume que les sujets accumulent les évidences sensorielles, échantillonnent et intègrent constamment les signaux pour et contre des hypothèses alternatives. L'intégration continue jusqu'à ce que les évidences en faveur de l'une des hypothèses dépassent un seuil de critère de décision (niveau de preuve exigé pour prendre une décision). De nouveaux modèles suggèrent que ce processus de décision est plutôt dynamique; les différents paramètres peuvent varier entre les essais et même pendant l’essai plutôt que d’être un processus statique avec des paramètres qui ne changent qu’entre les blocs d’essais. Ce projet de doctorat a pour but de démontrer que les décisions concernant les mouvements d’atteinte impliquent un mécanisme d’accumulation temporelle des informations sensorielles menant à un seuil de décision. Pour ce faire, nous avons élaboré un paradigme de prise de décision basée sur un stimulus ambigu afin de voir si les neurones du cortex moteur primaire (M1), prémoteur dorsal (PMd) et préfrontal (DLPFc) démontrent des corrélats neuronaux de ce processus d’accumulation temporelle. Nous avons tout d’abord testé différentes versions de la tâche avec l’aide de sujets humains afin de développer une tâche où l’on observe le comportement idéal des sujets pour nous permettre de vérifier l’hypothèse de travail. Les données comportementales chez l’humain et les singes des temps de réaction et du pourcentage d'erreurs montrent une augmentation systématique avec l'augmentation de l'ambigüité du stimulus. Ces résultats sont cohérents avec les prédictions des modèles de diffusion, tel que confirmé par une modélisation computationnelle des données. Nous avons, par la suite, enregistré des cellules dans M1, PMd et DLPFc de 2 singes pendant qu'ils s'exécutaient à la tâche. Les neurones de M1 ne semblent pas être influencés par l'ambiguïté des stimuli mais déchargent plutôt en corrélation avec le mouvement exécuté. Les neurones du PMd codent la direction du mouvement choisi par les singes, assez rapidement après la présentation du stimulus. De plus, l’activation de plusieurs cellules du PMd est plus lente lorsque l'ambiguïté du stimulus augmente et prend plus de temps à signaler la direction de mouvement. L’activité des neurones du PMd reflète le choix de l’animal, peu importe si c’est une bonne réponse ou une erreur. Ceci supporte un rôle du PMd dans la prise de décision concernant les mouvements d’atteinte. Finalement, nous avons débuté des enregistrements dans le cortex préfrontal et les résultats présentés sont préliminaires. Les neurones du DLPFc semblent beaucoup plus influencés par les combinaisons des facteurs de couleur et de position spatiale que les neurones du PMd. Notre conclusion est que le cortex PMd est impliqué dans l'évaluation des évidences pour ou contre la position spatiale de différentes cibles potentielles mais assez indépendamment de la couleur de celles-ci. Le cortex DLPFc serait plutôt responsable du traitement des informations pour la combinaison de la couleur et de la position des cibles spatiales et du stimulus ambigu nécessaire pour faire le lien entre le stimulus ambigu et la cible correspondante.

A theoretical and experimental dissociation of two models of decision‐making

La prise de décision est un processus computationnel fondamental dans de nombreux aspects du comportement animal. Le modèle le plus souvent rencontré dans les études portant sur la prise de décision est appelé modèle de diffusion. Depuis longtemps, il explique une grande variété de données comportementales et neurophysiologiques dans ce domaine. Cependant, un autre modèle, le modèle d’urgence, explique tout aussi bien ces mêmes données et ce de façon parcimonieuse et davantage encrée sur la théorie. Dans ce travail, nous aborderons tout d’abord les origines et le développement du modèle de diffusion et nous verrons comment il a été établi en tant que cadre de travail pour l’interprétation de la plupart des données expérimentales liées à la prise de décision. Ce faisant, nous relèveront ses points forts afin de le comparer ensuite de manière objective et rigoureuse à des modèles alternatifs. Nous réexaminerons un nombre d’assomptions implicites et explicites faites par ce modèle et nous mettrons alors l’accent sur certains de ses défauts. Cette analyse servira de cadre à notre introduction et notre discussion du modèle d’urgence. Enfin, nous présenterons une expérience dont la méthodologie permet de dissocier les deux modèles, et dont les résultats illustrent les limites empiriques et théoriques du modèle de diffusion et démontrent en revanche clairement la validité du modèle d'urgence. Nous terminerons en discutant l'apport potentiel du modèle d'urgence pour l'étude de certaines pathologies cérébrales, en mettant l'accent sur de nouvelles perspectives de recherche.

L’intégration de la prise de décision visuo-motrice et d’action motrice dans des conditions ambiguës

La prise de décision est un mécanisme qui fait intervenir les structures neuronales supérieures afin d’effectuer un lien entre la perception du signal et l’action. Plusieurs travaux qui cherchent à comprendre les mécanismes de la prise de décision sont menés à divers ni- veaux allant de l’analyse comportementale cognitive jusqu'à la modélisation computationnelle. Le but de ce projet a été d’évaluer d’un instant à l’autre comment la variabilité du signal observé («bruit»), influence la capacité des sujets humains à détecter la direction du mouvement dans un stimulus visuel. Dans ces travaux, nous avons éliminé l’une des sources potentielles de variabilité, la variabilité d’une image à l’autre, dans le nombre de points qui portaient les trois signaux de mouvements cohérents (gauche, droite, et aléatoire) dans les stimuli de Kinématogramme de points aléatoires (KPA), c’est-à-dire la variabilité d’origine périphérique. Les stimuli KPA de type « V6 » étaient des stimuli KPA standard avec une variabilité instantanée du signal, et par contre les stimuli KPA de type « V8 », étaient modifiés pour éliminer la variabilité stochastique due à la variabilité du nombre de pixels d’un instant à l’autre qui portent le signal cohérent. Si la performance des sujets, qui correspond à leur temps de réaction et au nombre de bonnes réponses, diffère en réponse aux stimuli dont le nombre de points en mouvement cohérent varie (V6) ou ne varie pas (V8), ceci serait une preuve que la variabilité d’origine périphérique modulerait le processus décisionnel. Par contre, si la performance des sujets ne diffère pas entre ces deux types de stimuli, ceci serait une preuve que la source majeure de variabilité de performance est d’origine centrale. Dans nos résultats nous avons constaté que le temps de réaction et le nombre de bonnes réponses sont modulés par la preuve nette du mouvement cohérent. De plus on a pu établir qu’en éliminant la variabilité d’origine périphérique définit ci-dessus, on n’observe pas réellement de modification dans les enregistrements. Ce qui nous à amené à penser qu’il n y a pas de distinction claire entre la distribution des erreurs et les bonnes réponses effectuées pour chacun des essais entre les deux stimuli que nous avons utilisé : V6 et V8. C’est donc après avoir mesuré la « quantité d’énergie » que nous avons proposé que la variabilité observée dans les résultats serait probablement d’origine centrale.