On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

On the design of customized risk measures in insurance, the problem of capital allocation and the theory of fluctuations for Lévy processes

Dans cette thèse, nous étudions quelques problèmes fondamentaux en mathématiques financières et actuarielles, ainsi que leurs applications. Cette thèse est constituée de trois contributions portant principalement sur la théorie de la mesure de risques, le problème de l’allocation du capital et la théorie des fluctuations. Dans le chapitre 2, nous construisons de nouvelles mesures de risque cohérentes et étudions l’allocation de capital dans le cadre de la théorie des risques collectifs. Pour ce faire, nous introduisons la famille des "mesures de risque entropique cumulatifs" (Cumulative Entropic Risk Measures). Le chapitre 3 étudie le problème du portefeuille optimal pour le Entropic Value at Risk dans le cas où les rendements sont modélisés par un processus de diffusion à sauts (Jump-Diffusion). Dans le chapitre 4, nous généralisons la notion de "statistiques naturelles de risque" (natural risk statistics) au cadre multivarié. Cette extension non-triviale produit des mesures de risque multivariées construites à partir des données financiéres et de données d’assurance. Le chapitre 5 introduit les concepts de "drawdown" et de la "vitesse d’épuisement" (speed of depletion) dans la théorie de la ruine. Nous étudions ces concepts pour des modeles de risque décrits par une famille de processus de Lévy spectrallement négatifs.

Analyse du comportement hétérogène des usagers dans un réseau

Le nombre important de véhicules sur le réseau routier peut entraîner des problèmes d'encombrement et de sécurité. Les usagers des réseaux routiers qui nous intéressent sont les camionneurs qui transportent des marchandises, pouvant rouler avec des véhicules non conformes ou emprunter des routes interdites pour gagner du temps. Le transport de matières dangereuses est réglementé et certains lieux, surtout les ponts et les tunnels, leur sont interdits d'accès. Pour aider à faire appliquer les lois en vigueur, il existe un système de contrôles routiers composé de structures fixes et de patrouilles mobiles. Le déploiement stratégique de ces ressources de contrôle mise sur la connaissance du comportement des camionneurs que nous allons étudier à travers l'analyse de leurs choix de routes. Un problème de choix de routes peut se modéliser en utilisant la théorie des choix discrets, elle-même fondée sur la théorie de l'utilité aléatoire. Traiter ce type de problème avec cette théorie est complexe. Les modèles que nous utiliserons sont tels, que nous serons amenés à faire face à des problèmes de corrélation, puisque plusieurs routes partagent probablement des arcs. De plus, puisque nous travaillons sur le réseau routier du Québec, le choix de routes peut se faire parmi un ensemble de routes dont le nombre est potentiellement infini si on considère celles ayant des boucles. Enfin, l'étude des choix faits par un humain n'est pas triviale. Avec l'aide du modèle de choix de routes retenu, nous pourrons calculer une expression de la probabilité qu'une route soit prise par le camionneur. Nous avons abordé cette étude du comportement en commençant par un travail de description des données collectées. Le questionnaire utilisé par les contrôleurs permet de collecter des données concernant les camionneurs, leurs véhicules et le lieu du contrôle. La description des données observées est une étape essentielle, car elle permet de présenter clairement à un analyste potentiel ce qui est accessible pour étudier les comportements des camionneurs. Les données observées lors d'un contrôle constitueront ce que nous appellerons une observation. Avec les attributs du réseau, il sera possible de modéliser le réseau routier du Québec. Une sélection de certains attributs permettra de spécifier la fonction d'utilité et par conséquent la fonction permettant de calculer les probabilités de choix de routes par un camionneur. Il devient alors possible d'étudier un comportement en se basant sur des observations. Celles provenant du terrain ne nous donnent pas suffisamment d'information actuellement et même en spécifiant bien un modèle, l'estimation des paramètres n'est pas possible. Cette dernière est basée sur la méthode du maximum de vraisemblance. Nous avons l'outil, mais il nous manque la matière première que sont les observations, pour continuer l'étude. L'idée est de poursuivre avec des observations de synthèse. Nous ferons des estimations avec des observations complètes puis, pour se rapprocher des conditions réelles, nous continuerons avec des observations partielles. Ceci constitue d'ailleurs un défi majeur. Nous proposons pour ces dernières, de nous servir des résultats des travaux de (Bierlaire et Frejinger, 2008) en les combinant avec ceux de (Fosgerau, Frejinger et Karlström, 2013). Bien qu'elles soient de nature synthétiques, les observations que nous utilisons nous mèneront à des résultats tels, que nous serons en mesure de fournir une proposition concrète qui pourrait aider à optimiser les décisions des responsables des contrôles routiers. En effet, nous avons réussi à estimer, sur le réseau réel du Québec, avec un seuil de signification de 0,05 les valeurs des paramètres d'un modèle de choix de routes discrets, même lorsque les observations sont partielles. Ces résultats donneront lieu à des recommandations sur les changements à faire dans le questionnaire permettant de collecter des données.

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Sur une classe de structures kählériennes généralisées toriques

Cette thèse concerne le problème de trouver une notion naturelle de «courbure scalaire» en géométrie kählérienne généralisée. L'approche utilisée consiste à calculer l'application moment pour l'action du groupe des difféomorphismes hamiltoniens sur l'espace des structures kählériennes généralisées de type symplectique. En effet, il est bien connu que l'application moment pour la restriction de cette action aux structures kählériennes s'identifie à la courbure scalaire riemannienne. On se limite à une certaine classe de structure kählériennes généralisées sur les variétés toriques notée $DGK_{\omega}^{\mathbb{T}}(M)$ que l'on reconnaît comme étant classifiées par la donnée d'une matrice antisymétrique $C$ et d'une fonction réelle strictement convexe $\tau$ (ayant un comportement adéquat au voisinage de la frontière du polytope moment). Ce point de vue rend évident le fait que toute structure kählérienne torique peut être déformée en un élément non kählérien de $DGK_{\omega}^{\mathbb{T}}(M)$, et on note que cette déformation à lieu le long d'une des classes que R. Goto a démontré comme étant libre d'obstruction. On identifie des conditions suffisantes sur une paire $(\tau,C)$ pour qu'elle donne lieu à un élément de $DGK_{\omega}^{\mathbb{T}}(M)$ et on montre qu'en dimension 4, ces conditions sont également nécessaires. Suivant l'adage «l'application moment est la courbure» mentionné ci-haut, des formules pour des notions de «courbure scalaire hermitienne généralisée» et de «courbure scalaire riemannienne généralisée» (en dimension 4) sont obtenues en termes de la fonction $\tau$. Enfin, une expression de la courbure scalaire riemannienne généralisée en termes de la structure bihermitienne sous-jacente est dégagée en dimension 4. Lorsque comparée avec le résultat des physiciens Coimbra et al., notre formule suggère un choix canonique pour le dilaton de leur théorie.

Le processus de thermo-érosion du pergélisol dans la zone de pergélisol continu

Les polygones à coin de glace sont très répandus dans la zone du pergélisol continu. Lorsque le ruissellement d’eau de fonte nivale s’infiltre de façon concentrée dans une cavité, il peut initier le processus de thermo-érosion du pergélisol (notamment des coins de glace) pouvant mener à la formation de ravins. Dans la vallée de Qalikturvik sur l’Ile Bylot (NU, Canada), le développement de ravins de thermo-érosion dans un milieu de polygones à coins de glace entraîne comme impact : i. la réorganisation des réseaux de drainage impliquant un assèchement des milieux humides en marge des chenaux d’érosion, ii. des variations dans le régime thermique et de l’humidité de proche-surface et iii. la prise en charge et le déplacement des sédiments vers l’extérieur du bassin-versant. L’objectif de cette thèse vise à approfondir les connaissances géomorphologiques propres au ravinement par thermo-érosion, d’examiner, caractériser et quantifier les impacts du ravinement (tel que sus-mentionné en i. ii. iii.) et le rôle de celui-ci dans une optique d’évolution du paysage périglaciaire à l’échelle temporelle de l’année à la décennie. Les ravins sont dynamiques : un ravin en particulier déclenché en 1999 et étudié depuis s’érodait à une vitesse de 38 à 50 m/a durant sa première décennie d’existence, pour atteindre une longueur totale de ~750 m et une surface érodée de ~25 000 m² en 2009. Des puits sont localisés près des zones de ravinement actives ; des levées alluviale, mares et polygones effondrés dans les zones stabilisées post-perturbation. Sur la terrasse de polygones recouvrant le plancher de la vallée au site à l’étude, 35 ravins furent identifiés et 1401 polygones furent perturbés avec 200 000 m³ de sols transportés. Une amélioration du drainage, une dégradation de la capacité de rétention de l’humidité, une transition d’un écoulement de ruissellement vers un écoulement canalisé caractérise les aires ravinées et leurs environs. Les polygones intacts sont homogènes d’un à l’autre et dans leurs centres ; les polygones perturbés ont une réponse hétérogène (flore, humidité et régime thermique). Les milieux érodés hétérogènes succèdent aux milieux homogènes et deviennent le nouvel état d’équilibre pour plusieurs décennies.