Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Families of orthogonal functions defined by the Weyl groups of compact Lie groups

Plusieurs familles de fonctions spéciales de plusieurs variables, appelées fonctions d'orbites, sont définies dans le contexte des groupes de Weyl de groupes de Lie simples compacts/d'algèbres de Lie simples. Ces fonctions sont étudiées depuis près d'un siècle en raison de leur lien avec les caractères des représentations irréductibles des algèbres de Lie simples, mais également de par leurs symétries et orthogonalités. Nous sommes principalement intéressés par la description des relations d'orthogonalité discrète et des transformations discrètes correspondantes, transformations qui permettent l'utilisation des fonctions d'orbites dans le traitement de données multidimensionnelles. Cette description est donnée pour les groupes de Weyl dont les racines ont deux longueurs différentes, en particulier pour les groupes de rang $2$ dans le cas des fonctions d'orbites du type $E$ et pour les groupes de rang $3$ dans le cas de toutes les autres fonctions d'orbites.

Influence de la taille de départ, de l’état d’agglomération et de la dose de nanoparticules de dioxyde de titane (TiO2) inhalées sur la réponse pulmonaire chez le rat

En raison de leur petite taille, les nanoparticules (NP) (< 100 nm) peuvent coaguler très rapidement ce qui favorise leur pénétration dans l’organisme sous forme d’agglomérats. L’objectif de cette recherche est d’étudier l’influence de l’état d’agglomération de NP de dioxyde de titane (TiO2) de trois tailles de départ différentes, 5, 10-30 ou 50 nm sur la toxicité pulmonaire chez le rat mâle (F344) exposé à des aérosols de 2, 7 ou 20 mg/m3 pendant 6 heures. Dans une chambre d’inhalation, six groupes de rats (n = 6 par groupe) ont été exposés par inhalation aiguë nez-seulement à des aérosols ayant une taille primaire de 5 nm, mais produits sous forme faiblement (< 100 nm) ou fortement (> 100 nm) agglomérée à 2, 7 et 20 mg/m3. De façon similaire, quatre autres groupes de rats ont été exposés à 20 mg/m3 à des aérosols ayant une taille primaire de 10-30 et 50 nm. Les différents aérosols ont été générés par nébulisation à partir de suspensions ou par dispersion à sec. Pour chaque concentration massique, un groupe de rats témoins (n = 6 par groupe) a été exposé à de l’air comprimé dans les mêmes conditions. Les animaux ont été sacrifiés 16 heures après la fin de l’exposition et les lavages broncho-alvéolaires ont permis de doser des marqueurs d’effets inflammatoires, cytotoxiques et de stress oxydant. Des coupes histologiques de poumons ont également été analysées. L’influence de l’état d’agglomération des NP de TiO2 n’a pu être discriminée à 2 mg/m3. Aux concentrations massiques de 7 et 20 mg/m3, nos résultats montrent qu’une réponse inflammatoire aiguë est induite suite à l'exposition aux aérosols fortement agglomérés. En plus de cette réponse, l’exposition aux aérosols faiblement agglomérés à 20 mg/m3 s’est traduite par une augmentation significative de la 8-isoprostane et de la lactate déshydrogénase. À 20 mg/m3, les effets cytotoxiques étaient plus importants suite à l’exposition aux NP de 5 nm faiblement agglomérées. Ces travaux ont montré dans l'ensemble que différents mécanismes de toxicité pulmonaire peuvent être empruntés par les NP de TiO2 en fonction de la taille de départ et de l’état d’agglomération.