Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Agrégation de tensioactifs anioniques à une interface solide-aqueux induite par l'oxydation d'une monocouche auto-assemblée de ferrocenylalkanethiolates

L'oxydoréduction des monocouches auto-assemblées («Self-assembled monolayers ou SAMs) de ferrocenyldodecanethiolates sur une surface d'or (Fc(CH2)12SAu) dans des solutions aqueuses de n-alkyle sulfate de sodium (6, 8, 10 et 12 atomes de carbone) est étudiée par spectroscopie de résonance des plasmons de surface («Surface Plasmons Resonance ou SPR) couplée avec de la voltampérométrie cyclique (VC). La technique SPR est utilisée pour suivre en temps réel l'adsorption des tensioactifs en fonction du potentiel appliqué. Elle permet de quantifier l'épaisseur et le recouvrement des molécules adsorbées pour déterminer l'organisation des tensioactifs anioniques sur la SAM. La VC est utilisée afin de caractériser l'oxydation du groupement ferrocène en présence des n-alkyle sulfate de sodium qui s'associent à la SAM grâce à l'appariement entre le ferrocénium et le groupement sulfate. Des mélanges binaires d'alkylesulfates de différentes compositions sont utilisés dans le but de déterminer l'organisation induite par une réaction d'oxydoréduction. L'effet de la longueur de la chaîne d'hydrocarbures sur la quantité de tensioactifs anioniques adsorbés ainsi que les affinités relatives d'appariement des anions alkyle sulfate aux ferrocéniums sont rapportés dans ce mémoire. Ces surfaces électrosensibles permettront la détection de molécules amphiphiles et la compréhension du comportement de mélanges binaires de tensioactifs. Ainsi, ces travaux apporteront une avancée sur la modulation électrochimique de l'organisation de matériaux sur des substrats solides basée sur l'appariement d'ions.