Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

La divine comédie de Stan Brakhage : une lecture du film lyrique The Dante Quartet

Film abstrait peint à la main sur de la pellicule recyclée, The Dante Quartet de Stan Brakhage est une adaptation personnelle de La divine comédie de Dante. Agissant comme un palimpseste où chaque couche révèle des éléments caractéristiques de l’oeuvre du cinéaste ainsi que l’influence de certains poètes et artistes, The Dante Quartet reprend certaines caractéristiques de l’ekphrasis. Dans ce mémoire, je travaille avec l’hypothèse heuristique que The Dante Quartet est une ekphrasis, et plus précisément une ekphrasis inversée. Ce mémoire s’intéresse à ce qui reste du pré-texte après son passage d’un média à un autre. Compte tenu du laps temporel qui sépare ces deux œuvres, il est aussi question d’influences contemporaines au travail de Brakhage. Le cinéaste basant son travail sur les phénomènes de vision (et plus particulièrement sur les visions hypnagogiques dans le cas qui m’occupe), le point sera fait sur la pensée de Brakhage à ce sujet, pensée qu’il expose dans son livre-manifeste Metaphors on Vision.