On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Leveraging noisy side information for disentangling of factors of variation in a supervised setting

Ce mémoire est composé de trois articles et présente les résultats de travaux de recherche effectués dans le but d'améliorer les techniques actuelles permettant d'utiliser des données associées à certaines tâches dans le but d'aider à l'entraînement de réseaux de neurones sur une tâche différente. Les deux premiers articles présentent de nouveaux ensembles de données créés pour permettre une meilleure évaluation de ce type de techniques d'apprentissage machine. Le premier article introduit une suite d'ensembles de données pour la tâche de reconnaissance automatique de chiffres écrits à la main. Ces ensembles de données ont été générés à partir d'un ensemble de données déjà existant, MNIST, auquel des nouveaux facteurs de variation ont été ajoutés. Le deuxième article introduit un ensemble de données pour la tâche de reconnaissance automatique d'expressions faciales. Cet ensemble de données est composé d'images de visages qui ont été collectées automatiquement à partir du Web et ensuite étiquetées. Le troisième et dernier article présente deux nouvelles approches, dans le contexte de l'apprentissage multi-tâches, pour tirer avantage de données pour une tâche donnée afin d'améliorer les performances d'un modèle sur une tâche différente. La première approche est une généralisation des neurones Maxout récemment proposées alors que la deuxième consiste en l'application dans un contexte supervisé d'une technique permettant d'inciter des neurones à apprendre des fonctions orthogonales, à l'origine proposée pour utilisation dans un contexte semi-supervisé.

Contribution du mécanisme d'inhibition présynaptique à l'induction de réactions posturales efficaces suite à une perturbation d'équilibre

Le risque de chute est une problématique bien présente chez les personnes âgées ou ayant une atteinte neurologique et reflète un déficit des mécanismes neuronaux assurant l’équilibre. De précédentes études démontrent que l’intégration des informations sensorielles est essentielle au contrôle de l’équilibre et que l’inhibition présynaptique (IP) serait un mécanisme important dans le contrôle de la transmission sensorielle. Ainsi, le but de cette étude était d’identifier la contribution du mécanisme d’IP à l’induction de réponses posturales efficaces suite à une perturbation d’équilibre. Notre hypothèse est qu’une diminution d’IP contribuerait à l’induction des ces réponses, en augmentant l’influence de la rétroaction sensorielle sur les réseaux de neurones spinaux. Afin de démontrer cette hypothèse, nous avons d’abord évalué l’excitabilité spinale pendant les perturbations vers l’avant ou vers l’arrière, à l’aide du réflexe H. L’excitabilité spinale était modulée selon la direction de la perturbation et cette modulation survenait dès 75 ou 100 ms (p<0.05), soit avant l’induction des réactions posturales. Puis, à l’aide de techniques plus précises de convergence spinale, nous avons démontré que l’IP était diminuée dès 75 et 100 ms dans les deux directions, suggérant que la transmission des informations sensorielles vers la moelle épinière est accrue juste avant le déclenchement de la réponse posturale. Cette étude met en évidence un mécanisme-clé permettant d’augmenter la rétroaction des informations sensorielles nécessaires à l’induction de réponses posturales appropriées. L’évaluation de ce mécanisme pourrait mener à une meilleure identification des individus à risque de chute.

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Apprentissage d'espaces sémantiques

Dans cette dissertation, nous présentons plusieurs techniques d’apprentissage d’espaces sémantiques pour plusieurs domaines, par exemple des mots et des images, mais aussi à l’intersection de différents domaines. Un espace de représentation est appelé sémantique si des entités jugées similaires par un être humain, ont leur similarité préservée dans cet espace. La première publication présente un enchaînement de méthodes d’apprentissage incluant plusieurs techniques d’apprentissage non supervisé qui nous a permis de remporter la compétition “Unsupervised and Transfer Learning Challenge” en 2011. Le deuxième article présente une manière d’extraire de l’information à partir d’un contexte structuré (177 détecteurs d’objets à différentes positions et échelles). On montrera que l’utilisation de la structure des données combinée à un apprentissage non supervisé permet de réduire la dimensionnalité de 97% tout en améliorant les performances de reconnaissance de scènes de +5% à +11% selon l’ensemble de données. Dans le troisième travail, on s’intéresse à la structure apprise par les réseaux de neurones profonds utilisés dans les deux précédentes publications. Plusieurs hypothèses sont présentées et testées expérimentalement montrant que l’espace appris a de meilleures propriétés de mixage (facilitant l’exploration de différentes classes durant le processus d’échantillonnage). Pour la quatrième publication, on s’intéresse à résoudre un problème d’analyse syntaxique et sémantique avec des réseaux de neurones récurrents appris sur des fenêtres de contexte de mots. Dans notre cinquième travail, nous proposons une façon d’effectuer de la recherche d’image ”augmentée” en apprenant un espace sémantique joint où une recherche d’image contenant un objet retournerait aussi des images des parties de l’objet, par exemple une recherche retournant des images de ”voiture” retournerait aussi des images de ”pare-brises”, ”coffres”, ”roues” en plus des images initiales.

FPGA-based object detection using classification circuits

Dans l'apprentissage machine, la classification est le processus d’assigner une nouvelle observation à une certaine catégorie. Les classifieurs qui mettent en œuvre des algorithmes de classification ont été largement étudié au cours des dernières décennies. Les classifieurs traditionnels sont basés sur des algorithmes tels que le SVM et les réseaux de neurones, et sont généralement exécutés par des logiciels sur CPUs qui fait que le système souffre d’un manque de performance et d’une forte consommation d'énergie. Bien que les GPUs puissent être utilisés pour accélérer le calcul de certains classifieurs, leur grande consommation de puissance empêche la technologie d'être mise en œuvre sur des appareils portables tels que les systèmes embarqués. Pour rendre le système de classification plus léger, les classifieurs devraient être capable de fonctionner sur un système matériel plus compact au lieu d'un groupe de CPUs ou GPUs, et les classifieurs eux-mêmes devraient être optimisés pour ce matériel. Dans ce mémoire, nous explorons la mise en œuvre d'un classifieur novateur sur une plate-forme matérielle à base de FPGA. Le classifieur, conçu par Alain Tapp (Université de Montréal), est basé sur une grande quantité de tables de recherche qui forment des circuits arborescents qui effectuent les tâches de classification. Le FPGA semble être un élément fait sur mesure pour mettre en œuvre ce classifieur avec ses riches ressources de tables de recherche et l'architecture à parallélisme élevé. Notre travail montre que les FPGAs peuvent implémenter plusieurs classifieurs et faire les classification sur des images haute définition à une vitesse très élevée.

Modelizzazione spazio-temporale delle dinamiche di uso del suolo ed analisi comparativa di differenti approcci predittivi. Uso integrato di SIG e telerilevamento nello studio dei processi di deforestazione nella regione La Joyanca in Peten, Guatemala

L’uso frequente dei modelli predittivi per l’analisi di sistemi complessi, naturali o artificiali, sta cambiando il tradizionale approccio alle problematiche ambientali e di rischio. Il continuo miglioramento delle capacità di elaborazione dei computer facilita l’utilizzo e la risoluzione di metodi numerici basati su una discretizzazione spazio-temporale che permette una modellizzazione predittiva di sistemi reali complessi, riproducendo l’evoluzione dei loro patterns spaziali ed calcolando il grado di precisione della simulazione. In questa tesi presentiamo una applicazione di differenti metodi predittivi (Geomatico, Reti Neurali, Land Cover Modeler e Dinamica EGO) in un’area test del Petén, Guatemala. Durante gli ultimi decenni questa regione, inclusa nella Riserva di Biosfera Maya, ha conosciuto una rapida crescita demografica ed un’incontrollata pressione sulle sue risorse naturali. L’area test puó essere suddivisa in sotto-regioni caratterizzate da differenti dinamiche di uso del suolo. Comprendere e quantificare queste differenze permette una migliore approssimazione del sistema reale; é inoltre necessario integrare tutti i parametri fisici e socio-economici, per una rappresentazione più completa della complessità dell’impatto antropico. Data l’assenza di informazioni dettagliate sull’area di studio, quasi tutti i dati sono stati ricavati dall’elaborazione di 11 immagini ETM+, TM e SPOT; abbiamo poi realizzato un’analisi multitemporale dei cambi uso del suolo passati e costruito l’input per alimentare i modelli predittivi. I dati del 1998 e 2000 sono stati usati per la fase di calibrazione per simulare i cambiamenti nella copertura terrestre del 2003, scelta come data di riferimento per la validazione dei risultati. Quest’ultima permette di evidenziare le qualità ed i limiti per ogni modello nelle differenti sub-regioni.

Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Plasticité du cortex visuel: «homéodynamie» des connexions neuronales et modèle d’effets d’antidépresseurs

Les informations sensorielles sont traitées dans le cortex par des réseaux de neurones co-activés qui forment des assemblées neuronales fonctionnelles. Le traitement visuel dans le cortex est régit par différents aspects des caractéristiques neuronales tels que l’aspect anatomique, électrophysiologique et moléculaire. Au sein du cortex visuel primaire, les neurones sont sélectifs à divers attributs des stimuli tels que l’orientation, la direction, le mouvement et la fréquence spatiale. Chacun de ces attributs conduit à une activité de décharge maximale pour une population neuronale spécifique. Les neurones du cortex visuel ont cependant la capacité de changer leur sélectivité en réponse à une exposition prolongée d’un stimulus approprié appelée apprentissage visuel ou adaptation visuelle à un stimulus non préférentiel. De ce fait, l’objectif principal de cette thèse est d’investiguer les mécanismes neuronaux qui régissent le traitement visuel durant une plasticité induite par adaptation chez des animaux adultes. Ces mécanismes sont traités sous différents aspects : la connectivité neuronale, la sélectivité neuronale, les propriétés électrophysiologiques des neurones et les effets des drogues (sérotonine et fluoxétine). Le modèle testé se base sur les colonnes d’orientation du cortex visuel primaire. La présente thèse est subdivisée en quatre principaux chapitres. Le premier chapitre (A) traite de la réorganisation du cortex visuel primaire suite à une plasticité induite par adaptation visuelle. Le second chapitre (B) examine la connectivité neuronale fonctionnelle en se basant sur des corrélations croisées entre paires neuronales ainsi que sur des corrélations d’activités de populations neuronales. Le troisième chapitre (C) met en liaison les aspects cités précédemment (les effets de l’adaptation visuelle et la connectivité fonctionnelle) aux propriétés électrophysiologiques des neurones (deux classes de neurones sont traitées : les neurones à décharge régulière et les neurones à décharge rapide ou burst). Enfin, le dernier chapitre (D) a pour objectif l’étude de l’effet du couplage de l’adaptation visuelle à l’administration de certaines drogues, notamment la sérotonine et la fluoxétine (inhibiteur sélectif de recapture de la sérotonine). Méthodes En utilisant des enregistrements extracellulaires d’activités neuronales dans le cortex visuel primaire (V1) combinés à un processus d’imagerie cérébrale optique intrinsèque, nous enregistrons l’activité de décharge de populations neuronales et nous examinons l’activité de neurones individuels extraite des signaux multi-unitaires. L’analyse de l’activité cérébrale se base sur différents algorithmes : la distinction des propriétés électrophysiologiques des neurones se fait par calcul de l’intervalle de temps entre la vallée et le pic maximal du potentiel d’action (largeur du potentiel d’action), la sélectivité des neurones est basée sur leur taux de décharge à différents stimuli, et la connectivité fonctionnelle utilise des calculs de corrélations croisées. L’utilisation des drogues se fait par administration locale sur la surface du cortex (après une craniotomie et une durotomie). Résultats et conclusions Dans le premier chapitre, nous démontrons la capacité des neurones à modifier leur sélectivité après une période d’adaptation visuelle à un stimulus particulier, ces changements aboutissent à une réorganisation des cartes corticales suivant un patron spécifique. Nous attribuons ce résultat à la flexibilité de groupes fonctionnels de neurones qui étaient longtemps considérés comme des unités anatomiques rigides. En effet, nous observons une restructuration extensive des domaines d’orientation dans le but de remodeler les colonnes d’orientation où chaque stimulus est représenté de façon égale. Ceci est d’autant plus confirmé dans le second chapitre où dans ce cas, les cartes de connectivité fonctionnelle sont investiguées. En accord avec les résultats énumérés précédemment, les cartes de connectivité montrent également une restructuration massive mais de façon intéressante, les neurones utilisent une stratégie de sommation afin de stabiliser leurs poids de connectivité totaux. Ces dynamiques de connectivité sont examinées dans le troisième chapitre en relation avec les propriétés électrophysiologiques des neurones. En effet, deux modes de décharge neuronale permettent la distinction entre deux classes neuronales. Leurs dynamiques de corrélations distinctes suggèrent que ces deux classes jouent des rôles clés différents dans l’encodage et l’intégration des stimuli visuels au sein d’une population neuronale. Enfin, dans le dernier chapitre, l’adaptation visuelle est combinée avec l’administration de certaines substances, notamment la sérotonine (neurotransmetteur) et la fluoxétine (inhibiteur sélectif de recapture de la sérotonine). Ces deux substances produisent un effet similaire en facilitant l’acquisition des stimuli imposés par adaptation. Lorsqu’un stimulus non optimal est présenté en présence de l’une des deux substances, nous observons une augmentation du taux de décharge des neurones en présentant ce stimulus. Nous présentons un modèle neuronal basé sur cette recherche afin d’expliquer les fluctuations du taux de décharge neuronale en présence ou en absence des drogues. Cette thèse présente de nouvelles perspectives quant à la compréhension de l’adaptation des neurones du cortex visuel primaire adulte dans le but de changer leur sélectivité dans un environnement d’apprentissage. Nous montrons qu’il y a un parfait équilibre entre leurs habiletés plastiques et leur dynamique d’homéostasie.

Learning representations for Information Retrieval

La recherche d'informations s'intéresse, entre autres, à répondre à des questions comme: est-ce qu'un document est pertinent à une requête ? Est-ce que deux requêtes ou deux documents sont similaires ? Comment la similarité entre deux requêtes ou documents peut être utilisée pour améliorer l'estimation de la pertinence ? Pour donner réponse à ces questions, il est nécessaire d'associer chaque document et requête à des représentations interprétables par ordinateur. Une fois ces représentations estimées, la similarité peut correspondre, par exemple, à une distance ou une divergence qui opère dans l'espace de représentation. On admet généralement que la qualité d'une représentation a un impact direct sur l'erreur d'estimation par rapport à la vraie pertinence, jugée par un humain. Estimer de bonnes représentations des documents et des requêtes a longtemps été un problème central de la recherche d'informations. Le but de cette thèse est de proposer des nouvelles méthodes pour estimer les représentations des documents et des requêtes, la relation de pertinence entre eux et ainsi modestement avancer l'état de l'art du domaine. Nous présentons quatre articles publiés dans des conférences internationales et un article publié dans un forum d'évaluation. Les deux premiers articles concernent des méthodes qui créent l'espace de représentation selon une connaissance à priori sur les caractéristiques qui sont importantes pour la tâche à accomplir. Ceux-ci nous amènent à présenter un nouveau modèle de recherche d'informations qui diffère des modèles existants sur le plan théorique et de l'efficacité expérimentale. Les deux derniers articles marquent un changement fondamental dans l'approche de construction des représentations. Ils bénéficient notamment de l'intérêt de recherche dont les techniques d'apprentissage profond par réseaux de neurones, ou deep learning, ont fait récemment l'objet. Ces modèles d'apprentissage élicitent automatiquement les caractéristiques importantes pour la tâche demandée à partir d'une quantité importante de données. Nous nous intéressons à la modélisation des relations sémantiques entre documents et requêtes ainsi qu'entre deux ou plusieurs requêtes. Ces derniers articles marquent les premières applications de l'apprentissage de représentations par réseaux de neurones à la recherche d'informations. Les modèles proposés ont aussi produit une performance améliorée sur des collections de test standard. Nos travaux nous mènent à la conclusion générale suivante: la performance en recherche d'informations pourrait drastiquement être améliorée en se basant sur les approches d'apprentissage de représentations.

Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Plasticité du cortex visuel: «homéodynamie» des connexions neuronales et modèle d’effets d’antidépresseurs

Les informations sensorielles sont traitées dans le cortex par des réseaux de neurones co-activés qui forment des assemblées neuronales fonctionnelles. Le traitement visuel dans le cortex est régit par différents aspects des caractéristiques neuronales tels que l’aspect anatomique, électrophysiologique et moléculaire. Au sein du cortex visuel primaire, les neurones sont sélectifs à divers attributs des stimuli tels que l’orientation, la direction, le mouvement et la fréquence spatiale. Chacun de ces attributs conduit à une activité de décharge maximale pour une population neuronale spécifique. Les neurones du cortex visuel ont cependant la capacité de changer leur sélectivité en réponse à une exposition prolongée d’un stimulus approprié appelée apprentissage visuel ou adaptation visuelle à un stimulus non préférentiel. De ce fait, l’objectif principal de cette thèse est d’investiguer les mécanismes neuronaux qui régissent le traitement visuel durant une plasticité induite par adaptation chez des animaux adultes. Ces mécanismes sont traités sous différents aspects : la connectivité neuronale, la sélectivité neuronale, les propriétés électrophysiologiques des neurones et les effets des drogues (sérotonine et fluoxétine). Le modèle testé se base sur les colonnes d’orientation du cortex visuel primaire. La présente thèse est subdivisée en quatre principaux chapitres. Le premier chapitre (A) traite de la réorganisation du cortex visuel primaire suite à une plasticité induite par adaptation visuelle. Le second chapitre (B) examine la connectivité neuronale fonctionnelle en se basant sur des corrélations croisées entre paires neuronales ainsi que sur des corrélations d’activités de populations neuronales. Le troisième chapitre (C) met en liaison les aspects cités précédemment (les effets de l’adaptation visuelle et la connectivité fonctionnelle) aux propriétés électrophysiologiques des neurones (deux classes de neurones sont traitées : les neurones à décharge régulière et les neurones à décharge rapide ou burst). Enfin, le dernier chapitre (D) a pour objectif l’étude de l’effet du couplage de l’adaptation visuelle à l’administration de certaines drogues, notamment la sérotonine et la fluoxétine (inhibiteur sélectif de recapture de la sérotonine). Méthodes En utilisant des enregistrements extracellulaires d’activités neuronales dans le cortex visuel primaire (V1) combinés à un processus d’imagerie cérébrale optique intrinsèque, nous enregistrons l’activité de décharge de populations neuronales et nous examinons l’activité de neurones individuels extraite des signaux multi-unitaires. L’analyse de l’activité cérébrale se base sur différents algorithmes : la distinction des propriétés électrophysiologiques des neurones se fait par calcul de l’intervalle de temps entre la vallée et le pic maximal du potentiel d’action (largeur du potentiel d’action), la sélectivité des neurones est basée sur leur taux de décharge à différents stimuli, et la connectivité fonctionnelle utilise des calculs de corrélations croisées. L’utilisation des drogues se fait par administration locale sur la surface du cortex (après une craniotomie et une durotomie). Résultats et conclusions Dans le premier chapitre, nous démontrons la capacité des neurones à modifier leur sélectivité après une période d’adaptation visuelle à un stimulus particulier, ces changements aboutissent à une réorganisation des cartes corticales suivant un patron spécifique. Nous attribuons ce résultat à la flexibilité de groupes fonctionnels de neurones qui étaient longtemps considérés comme des unités anatomiques rigides. En effet, nous observons une restructuration extensive des domaines d’orientation dans le but de remodeler les colonnes d’orientation où chaque stimulus est représenté de façon égale. Ceci est d’autant plus confirmé dans le second chapitre où dans ce cas, les cartes de connectivité fonctionnelle sont investiguées. En accord avec les résultats énumérés précédemment, les cartes de connectivité montrent également une restructuration massive mais de façon intéressante, les neurones utilisent une stratégie de sommation afin de stabiliser leurs poids de connectivité totaux. Ces dynamiques de connectivité sont examinées dans le troisième chapitre en relation avec les propriétés électrophysiologiques des neurones. En effet, deux modes de décharge neuronale permettent la distinction entre deux classes neuronales. Leurs dynamiques de corrélations distinctes suggèrent que ces deux classes jouent des rôles clés différents dans l’encodage et l’intégration des stimuli visuels au sein d’une population neuronale. Enfin, dans le dernier chapitre, l’adaptation visuelle est combinée avec l’administration de certaines substances, notamment la sérotonine (neurotransmetteur) et la fluoxétine (inhibiteur sélectif de recapture de la sérotonine). Ces deux substances produisent un effet similaire en facilitant l’acquisition des stimuli imposés par adaptation. Lorsqu’un stimulus non optimal est présenté en présence de l’une des deux substances, nous observons une augmentation du taux de décharge des neurones en présentant ce stimulus. Nous présentons un modèle neuronal basé sur cette recherche afin d’expliquer les fluctuations du taux de décharge neuronale en présence ou en absence des drogues. Cette thèse présente de nouvelles perspectives quant à la compréhension de l’adaptation des neurones du cortex visuel primaire adulte dans le but de changer leur sélectivité dans un environnement d’apprentissage. Nous montrons qu’il y a un parfait équilibre entre leurs habiletés plastiques et leur dynamique d’homéostasie.

Learning representations for Information Retrieval

La recherche d'informations s'intéresse, entre autres, à répondre à des questions comme: est-ce qu'un document est pertinent à une requête ? Est-ce que deux requêtes ou deux documents sont similaires ? Comment la similarité entre deux requêtes ou documents peut être utilisée pour améliorer l'estimation de la pertinence ? Pour donner réponse à ces questions, il est nécessaire d'associer chaque document et requête à des représentations interprétables par ordinateur. Une fois ces représentations estimées, la similarité peut correspondre, par exemple, à une distance ou une divergence qui opère dans l'espace de représentation. On admet généralement que la qualité d'une représentation a un impact direct sur l'erreur d'estimation par rapport à la vraie pertinence, jugée par un humain. Estimer de bonnes représentations des documents et des requêtes a longtemps été un problème central de la recherche d'informations. Le but de cette thèse est de proposer des nouvelles méthodes pour estimer les représentations des documents et des requêtes, la relation de pertinence entre eux et ainsi modestement avancer l'état de l'art du domaine. Nous présentons quatre articles publiés dans des conférences internationales et un article publié dans un forum d'évaluation. Les deux premiers articles concernent des méthodes qui créent l'espace de représentation selon une connaissance à priori sur les caractéristiques qui sont importantes pour la tâche à accomplir. Ceux-ci nous amènent à présenter un nouveau modèle de recherche d'informations qui diffère des modèles existants sur le plan théorique et de l'efficacité expérimentale. Les deux derniers articles marquent un changement fondamental dans l'approche de construction des représentations. Ils bénéficient notamment de l'intérêt de recherche dont les techniques d'apprentissage profond par réseaux de neurones, ou deep learning, ont fait récemment l'objet. Ces modèles d'apprentissage élicitent automatiquement les caractéristiques importantes pour la tâche demandée à partir d'une quantité importante de données. Nous nous intéressons à la modélisation des relations sémantiques entre documents et requêtes ainsi qu'entre deux ou plusieurs requêtes. Ces derniers articles marquent les premières applications de l'apprentissage de représentations par réseaux de neurones à la recherche d'informations. Les modèles proposés ont aussi produit une performance améliorée sur des collections de test standard. Nos travaux nous mènent à la conclusion générale suivante: la performance en recherche d'informations pourrait drastiquement être améliorée en se basant sur les approches d'apprentissage de représentations.

Mémoires de traduction sous-phrastiques

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Accélérer l'entraînement d'un modèle non-paramétrique de densité non normalisée par échantillonnage aléatoire

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.