Learning representations for Information Retrieval

La recherche d'informations s'intéresse, entre autres, à répondre à des questions comme: est-ce qu'un document est pertinent à une requête ? Est-ce que deux requêtes ou deux documents sont similaires ? Comment la similarité entre deux requêtes ou documents peut être utilisée pour améliorer l'estimation de la pertinence ? Pour donner réponse à ces questions, il est nécessaire d'associer chaque document et requête à des représentations interprétables par ordinateur. Une fois ces représentations estimées, la similarité peut correspondre, par exemple, à une distance ou une divergence qui opère dans l'espace de représentation. On admet généralement que la qualité d'une représentation a un impact direct sur l'erreur d'estimation par rapport à la vraie pertinence, jugée par un humain. Estimer de bonnes représentations des documents et des requêtes a longtemps été un problème central de la recherche d'informations. Le but de cette thèse est de proposer des nouvelles méthodes pour estimer les représentations des documents et des requêtes, la relation de pertinence entre eux et ainsi modestement avancer l'état de l'art du domaine. Nous présentons quatre articles publiés dans des conférences internationales et un article publié dans un forum d'évaluation. Les deux premiers articles concernent des méthodes qui créent l'espace de représentation selon une connaissance à priori sur les caractéristiques qui sont importantes pour la tâche à accomplir. Ceux-ci nous amènent à présenter un nouveau modèle de recherche d'informations qui diffère des modèles existants sur le plan théorique et de l'efficacité expérimentale. Les deux derniers articles marquent un changement fondamental dans l'approche de construction des représentations. Ils bénéficient notamment de l'intérêt de recherche dont les techniques d'apprentissage profond par réseaux de neurones, ou deep learning, ont fait récemment l'objet. Ces modèles d'apprentissage élicitent automatiquement les caractéristiques importantes pour la tâche demandée à partir d'une quantité importante de données. Nous nous intéressons à la modélisation des relations sémantiques entre documents et requêtes ainsi qu'entre deux ou plusieurs requêtes. Ces derniers articles marquent les premières applications de l'apprentissage de représentations par réseaux de neurones à la recherche d'informations. Les modèles proposés ont aussi produit une performance améliorée sur des collections de test standard. Nos travaux nous mènent à la conclusion générale suivante: la performance en recherche d'informations pourrait drastiquement être améliorée en se basant sur les approches d'apprentissage de représentations.

Sequential Machine learning Approaches for Portfolio Management

Cette thèse envisage un ensemble de méthodes permettant aux algorithmes d'apprentissage statistique de mieux traiter la nature séquentielle des problèmes de gestion de portefeuilles financiers. Nous débutons par une considération du problème général de la composition d'algorithmes d'apprentissage devant gérer des tâches séquentielles, en particulier celui de la mise-à-jour efficace des ensembles d'apprentissage dans un cadre de validation séquentielle. Nous énumérons les desiderata que des primitives de composition doivent satisfaire, et faisons ressortir la difficulté de les atteindre de façon rigoureuse et efficace. Nous poursuivons en présentant un ensemble d'algorithmes qui atteignent ces objectifs et présentons une étude de cas d'un système complexe de prise de décision financière utilisant ces techniques. Nous décrivons ensuite une méthode générale permettant de transformer un problème de décision séquentielle non-Markovien en un problème d'apprentissage supervisé en employant un algorithme de recherche basé sur les K meilleurs chemins. Nous traitons d'une application en gestion de portefeuille où nous entraînons un algorithme d'apprentissage à optimiser directement un ratio de Sharpe (ou autre critère non-additif incorporant une aversion au risque). Nous illustrons l'approche par une étude expérimentale approfondie, proposant une architecture de réseaux de neurones spécialisée à la gestion de portefeuille et la comparant à plusieurs alternatives. Finalement, nous introduisons une représentation fonctionnelle de séries chronologiques permettant à des prévisions d'être effectuées sur un horizon variable, tout en utilisant un ensemble informationnel révélé de manière progressive. L'approche est basée sur l'utilisation des processus Gaussiens, lesquels fournissent une matrice de covariance complète entre tous les points pour lesquels une prévision est demandée. Cette information est utilisée à bon escient par un algorithme qui transige activement des écarts de cours (price spreads) entre des contrats à terme sur commodités. L'approche proposée produit, hors échantillon, un rendement ajusté pour le risque significatif, après frais de transactions, sur un portefeuille de 30 actifs.

Cholinergic enhancement of perceptual learning : behavioral, physiological, and neuro-pharmacological study in the rat primary visual cortex

Les cortices sensoriels sont des régions cérébrales essentielles pour la perception. En particulier, le cortex visuel traite l’information visuelle en provenance de la rétine qui transite par le thalamus. Les neurones sont les unités fonctionnelles qui transforment l'information sensorielle en signaux électriques, la transfèrent vers le cortex et l'intègrent. Les neurones du cortex visuel sont spécialisés et analysent différents aspects des stimuli visuels. La force des connections entre les neurones peut être modulée par la persistance de l'activité pré-synaptique et induit une augmentation ou une diminution du signal post-synaptique à long terme. Ces modifications de la connectivité synaptique peuvent induire la réorganisation de la carte corticale, c’est à dire la représentation de ce stimulus et la puissance de son traitement cortical. Cette réorganisation est connue sous le nom de plasticité corticale. Elle est particulièrement active durant la période de développement, mais elle s’observe aussi chez l’adulte, par exemple durant l’apprentissage. Le neurotransmetteur acétylcholine (ACh) est impliqué dans de nombreuses fonctions cognitives telles que l’apprentissage ou l’attention et il est important pour la plasticité corticale. En particulier, les récepteurs nicotiniques et muscariniques du sous-type M1 et M2 sont les récepteurs cholinergiques impliqués dans l’induction de la plasticité corticale. L’objectif principal de la présente thèse est de déterminer les mécanismes de plasticité corticale induits par la stimulation du système cholinergique au niveau du télencéphale basal et de définir les effets sur l’amélioration de la perception sensorielle. Afin d’induire la plasticité corticale, j’ai jumelé des stimulations visuelles à des injections intracorticales d’agoniste cholinergique (carbachol) ou à une stimulation du télencéphale basal (neurones cholinergiques qui innervent le cortex visuel primaire). J'ai analysé les potentiels évoqués visuels (PEVs) dans le cortex visuel primaire des rats pendant 4 à 8 heures après le couplage. Afin de préciser l’action de l’ACh sur l’activité des PEVs dans V1, j’ai injecté individuellement l’antagoniste des récepteurs muscariniques, nicotiniques, α7 ou NMDA avant l’infusion de carbachol. La stimulation du système cholinergique jumelée avec une stimulation visuelle augmente l’amplitude des PEVs durant plus de 8h. Le blocage des récepteurs muscarinique, nicotinique et NMDA abolit complètement cette amélioration, tandis que l’inhibition des récepteurs α7 a induit une augmentation instantanée des PEVs. Ces résultats suggèrent que l'ACh facilite à long terme la réponse aux stimuli visuels et que cette facilitation implique les récepteurs nicotiniques, muscariniques et une interaction avec les récepteur NMDA dans le cortex visuel. Ces mécanismes sont semblables à la potentiation à long-terme, évènement physiologique lié à l’apprentissage. L’étape suivante était d’évaluer si l’effet de l’amplification cholinergique de l’entrée de l’information visuelle résultait non seulement en une modification de l’activité corticale mais aussi de la perception visuelle. J’ai donc mesuré l’amélioration de l’acuité visuelle de rats adultes éveillés exposés durant 10 minutes par jour pendant deux semaines à un stimulus visuel de type «réseau sinusoïdal» couplé à une stimulation électrique du télencéphale basal. L’acuité visuelle a été mesurée avant et après le couplage des stimulations visuelle et cholinergique à l’aide d’une tâche de discrimination visuelle. L’acuité visuelle du rat pour le stimulus d’entrainement a été augmentée après la période d’entrainement. L’augmentation de l’acuité visuelle n’a pas été observée lorsque la stimulation visuelle seule ou celle du télencéphale basal seul, ni lorsque les fibres cholinergiques ont été lésées avant la stimulation visuelle. Une augmentation à long terme de la réactivité corticale du cortex visuel primaire des neurones pyramidaux et des interneurones GABAergiques a été montrée par l’immunoréactivité au c-Fos. Ainsi, lorsque couplé à un entrainement visuel, le système cholinergique améliore les performances visuelles pour l’orientation et ce probablement par l’optimisation du processus d’attention et de plasticité corticale dans l’aire V1. Afin d’étudier les mécanismes pharmacologiques impliqués dans l’amélioration de la perception visuelle, j’ai comparé les PEVs avant et après le couplage de la stimulation visuelle/cholinergique en présence d’agonistes/antagonistes sélectifs. Les injections intracorticales des différents agents pharmacologiques pendant le couplage ont montré que les récepteurs nicotiniques et M1 muscariniques amplifient la réponse corticale tandis que les récepteurs M2 muscariniques inhibent les neurones GABAergiques induisant un effet excitateur. L’infusion d’antagoniste du GABA corrobore l’hypothèse que le système inhibiteur est essentiel pour induire la plasticité corticale. Ces résultats démontrent que l’entrainement visuel jumelé avec la stimulation cholinergique améliore la plasticité corticale et qu’elle est contrôlée par les récepteurs nicotinique et muscariniques M1 et M2. Mes résultats suggèrent que le système cholinergique est un système neuromodulateur qui peut améliorer la perception sensorielle lors d’un apprentissage perceptuel. Les mécanismes d’amélioration perceptuelle induits par l’acétylcholine sont liés aux processus d’attention, de potentialisation à long-terme et de modulation de la balance d’influx excitateur/inhibiteur. En particulier, le couplage de l’activité cholinergique avec une stimulation visuelle augmente le ratio de signal / bruit et ainsi la détection de cibles. L’augmentation de la concentration cholinergique corticale potentialise l’afférence thalamocorticale, ce qui facilite le traitement d’un nouveau stimulus et diminue la signalisation cortico-corticale minimisant ainsi la modulation latérale. Ceci est contrôlé par différents sous-types de récepteurs cholinergiques situés sur les neurones GABAergiques ou glutamatergiques des différentes couches corticales. La présente thèse montre qu’une stimulation électrique dans le télencéphale basal a un effet similaire à l’infusion d’agoniste cholinergique et qu’un couplage de stimulations visuelle et cholinergique induit la plasticité corticale. Ce jumelage répété de stimulations visuelle/cholinergique augmente la capacité de discrimination visuelle et améliore la perception. Cette amélioration est corrélée à une amplification de l’activité neuronale démontrée par immunocytochimie du c-Fos. L’immunocytochimie montre aussi une différence entre l’activité des neurones glutamatergiques et GABAergiques dans les différentes couches corticales. L’injection pharmacologique pendant la stimulation visuelle/cholinergique suggère que les récepteurs nicotiniques, muscariniques M1 peuvent amplifier la réponse excitatrice tandis que les récepteurs M2 contrôlent l’activation GABAergique. Ainsi, le système cholinergique activé au cours du processus visuel induit des mécanismes de plasticité corticale et peut ainsi améliorer la capacité perceptive. De meilleures connaissances sur ces actions ouvrent la possibilité d’accélérer la restauration des fonctions visuelles lors d’un déficit ou d’amplifier la fonction cognitive.