On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Sur une classe de structures kählériennes généralisées toriques

Cette thèse concerne le problème de trouver une notion naturelle de «courbure scalaire» en géométrie kählérienne généralisée. L'approche utilisée consiste à calculer l'application moment pour l'action du groupe des difféomorphismes hamiltoniens sur l'espace des structures kählériennes généralisées de type symplectique. En effet, il est bien connu que l'application moment pour la restriction de cette action aux structures kählériennes s'identifie à la courbure scalaire riemannienne. On se limite à une certaine classe de structure kählériennes généralisées sur les variétés toriques notée $DGK_{\omega}^{\mathbb{T}}(M)$ que l'on reconnaît comme étant classifiées par la donnée d'une matrice antisymétrique $C$ et d'une fonction réelle strictement convexe $\tau$ (ayant un comportement adéquat au voisinage de la frontière du polytope moment). Ce point de vue rend évident le fait que toute structure kählérienne torique peut être déformée en un élément non kählérien de $DGK_{\omega}^{\mathbb{T}}(M)$, et on note que cette déformation à lieu le long d'une des classes que R. Goto a démontré comme étant libre d'obstruction. On identifie des conditions suffisantes sur une paire $(\tau,C)$ pour qu'elle donne lieu à un élément de $DGK_{\omega}^{\mathbb{T}}(M)$ et on montre qu'en dimension 4, ces conditions sont également nécessaires. Suivant l'adage «l'application moment est la courbure» mentionné ci-haut, des formules pour des notions de «courbure scalaire hermitienne généralisée» et de «courbure scalaire riemannienne généralisée» (en dimension 4) sont obtenues en termes de la fonction $\tau$. Enfin, une expression de la courbure scalaire riemannienne généralisée en termes de la structure bihermitienne sous-jacente est dégagée en dimension 4. Lorsque comparée avec le résultat des physiciens Coimbra et al., notre formule suggère un choix canonique pour le dilaton de leur théorie.