Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

De la modélisation à la quantification par ultrasons de l'agrégation érythrocytaire

Le travail a été réalisé en collaboration avec le laboratoire de mécanique acoustique de Marseille, France. Les simulations ont été menées avec les langages Matlab et C. Ce projet s'inscrit dans le champ de recherche dénommé caractérisation tissulaire par ultrasons.

Effet de la microstructure sur les propriétés excitoniques des polymères semi-conducteurs semi-cristallins

Les polymères semi-conducteurs semicristallins sont utilisés au sein de diodes électroluminescentes, transistors ou dispositifs photovoltaïques organiques. Ces matériaux peuvent être traités à partir de solutions ou directement à partir de leur état solide et forment des agrégats moléculaires dont la morphologie dicte en grande partie leurs propriétés optoélectroniques. Le poly(3-hexylthiophène) est un des polymères semi-conducteurs les plus étudiés. Lorsque le poids moléculaire (Mw) des chaînes est inférieur à 50 kg/mol, la microstructure est polycristalline et composée de chaînes formant des empilements-π. Lorsque Mw>50 kg/mol, la morphologie est semicristalline et composée de domaines cristallins imbriquées dans une matrice de chaînes amorphes. À partir de techniques de spectroscopie en continu et ultrarapide et appuyé de modèles théoriques, nous démontrons que la cohérence spatiale des excitons dans ce matériau est légèrement anisotrope et dépend de Mw. Ceci nous permet d’approfondir la compréhension de la relation intime entre le couplage inter et intramoléculaire sur la forme spectrale en absorption et photoluminescence. De plus, nous démontrons que les excitations photogénérées directement aux interfaces entre les domaines cristallins et les régions amorphes génèrent des paires de polarons liés qui se recombinent par effet tunnel sur des échelles de temps supérieures à 10ns. Le taux de photoluminescence à long temps de vie provenant de ces paires de charges dépend aussi de Mw et varie entre ∼10% et ∼40% pour les faibles et hauts poids moléculaires respectivement. Nous fournissons un modèle permettant d’expliquer le processus de photogénération des paires de polarons et nous élucidons le rôle de la microstructure sur la dynamique de séparation et recombinaison de ces espèces.

Caractérisation structurale et thermodynamique de la reconnaissance du substrat par le ribozyme VS de Neurospora

Les interactions ARN/ARN de type kissing-loop sont des éléments de structure tertiaire qui jouent souvent des rôles clés chez les ARN, tant au niveau fonctionnel que structural. En effet, ce type d’interaction est crucial pour plusieurs processus dépendant des ARN, notamment pour l’initiation de la traduction, la reconnaissance des ARN antisens et la dimérisation de génome rétroviral. Les interactions kissing-loop sont également importantes pour le repliement des ARN, puisqu’elles permettent d’établir des contacts à longue distance entre différents ARN ou encore entre les domaines éloignés d’un même ARN. Ce type d’interaction stabilise aussi les structures complexes des ARN fonctionnels tels que les ARNt, les riborégulateurs et les ribozymes. Comme d’autres ARN fonctionnels, le ribozyme VS de Neurospora contient une interaction kissing-loop importante. Celle-ci est impliquée dans la reconnaissance du substrat et se forme entre la tige-boucle I (stem-loop I, SLI) du substrat et la tige-boucle V (stem-loop V, SLV) du domaine catalytique. Des études biochimiques ont démontré que l’interaction kissing-loop I/V, dépendante du magnésium, implique trois paires de bases Watson-Crick (W-C). De plus, cette interaction est associée à un réarrangement de la structure du substrat, le faisant passer d’une conformation inactive dite unshifted à une conformation active dite shifted. Les travaux présentés dans cette thèse consistent en une caractérisation structurale et thermodynamique de l’interaction kissing-loop I/V du ribozyme VS, laquelle est formée de fragments d’ARN représentant les tige-boucles I et V dérivées du ribozyme VS (SLI et SLV). Cette caractérisation a été réalisée principalement par spectroscopie de résonance magnétique nucléaire (RMN) et par titrage calorimétrique isotherme (isothermal titration calorimetry, ITC) en utilisant différents complexes SLI/SLV dans lesquels l’ARN SLV est commun à tous les complexes, alors que différentes variations de l’ARN SLI ont été utilisées, soit en conformation shiftable ou preshifted. Les données d’ITC ont permis de démontrer qu’en présence d’une concentration saturante de magnésium, l’affinité d’un substrat SLI preshifted pour SLV est extrêmement élevée, rendant cette interaction plus stable que ce qui est prédit pour un duplexe d’ARN équivalent. De plus, l’étude effectuée par ITC montre que des ARN SLI preshifted présentent une meilleure affinité pour SLV que des ARN SLI shiftable, ce qui a permis de calculer le coût énergétique associé au réarrangement de structure du substrat. En plus de confirmer la formation des trois paires de bases W-C prédites à la jonction I/V, les études de RMN ont permis d’obtenir une preuve structurale directe du réarrangement structural des substrats SLI shiftable en présence de magnésium et de l’ARN SLV. La structure RMN d’un complexe SLI/SLV de grande affinité démontre que les boucles terminales de SLI et SLV forment chacune un motif U-turn, ce qui facilite l’appariement W-C intermoléculaire. Plusieurs autres interactions ont été définies à l’interface I/V, notamment des triplets de bases, ainsi que des empilements de bases. Ces interactions contribuent d’ailleurs à la création d’une structure présentant un empilement continu, c’est-à-dire qui se propage du centre de l’interaction jusqu’aux bouts des tiges de SLI et SLV. Ces études de RMN permettent donc de mieux comprendre la stabilité exceptionnelle de l’interaction kissing-loop I/V au niveau structural et mènent à l’élaboration d’un modèle cinétique de l’activation du substrat par le ribozyme VS. En considérant l’ensemble des données d’ITC et de RMN, l’étonnante stabilité de l’interaction I/V s’explique probablement par une combinaison de facteurs, dont les motifs U-turn, la présence d’un nucléotide exclu de la boucle de SLV (U700), la liaison de cations magnésium et l’empilement de bases continu à la jonction I/V.

Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.