On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Les actions de groupes en géométrie symplectique et l'application moment

Ce mémoire porte sur quelques notions appropriées d'actions de groupe sur les variétés symplectiques, à savoir en ordre décroissant de généralité : les actions symplectiques, les actions faiblement hamiltoniennes et les actions hamiltoniennes. Une connaissance des actions de groupes et de la géométrie symplectique étant prérequise, deux chapitres sont consacrés à des présentations élémentaires de ces sujets. Le cas des actions hamiltoniennes est étudié en détail au quatrième chapitre : l'importante application moment y est définie et plusieurs résultats concernant les orbites de la représentation coadjointe, tels que les théorèmes de Kirillov et de Kostant-Souriau, y sont démontrés. Le dernier chapitre se concentre sur les actions hamiltoniennes des tores, l'objectif étant de démontrer le théorème de convexité d'Atiyha-Guillemin-Sternberg. Une discussion d'un théorème de classification de Delzant-Laudenbach est aussi donnée. La présentation se voulant une introduction assez exhaustive à la théorie des actions hamiltoniennes, presque tous les résultats énoncés sont accompagnés de preuves complètes. Divers exemples sont étudiés afin d'aider à bien comprendre les aspects plus subtils qui sont considérés. Plusieurs sujets connexes sont abordés, dont la préquantification géométrique et la réduction de Marsden-Weinstein.

Droites sur les hypergraphes

Le Théorème de Sylvester-Gallai affirme que dans un ensemble fini S de points dans le plan, où les points ne sont pas tous sur une même droite, il y a une droite qui passe par exactement deux points de S. Chvátal [14] a étendu la notion de droites aux espaces métriques arbitraires et a fait une conjecture généralisant le Théorème de Sylvester-Gallai. Chen [10] a démontré cette conjecture qui s’appelle maintenant le Théorème de Sylvester-Chvátal. En 1943, Erdos [18] a remarqué un corollaire pour le Théorème de Sylvester-Gallai affirmant que, dans un ensemble fini V de points dans le plan, où les points ne sont pas tous sur une droite, le nombre de droites qui passent par au moins deux points de V est au moins |V |. De Bruijn et Erdos [7] ont généralisé ce corollaire, en utilisant une définition généralisée de droite (voir Chapitre 2) et ont prouvé que tout ensemble de n points, où les points ne sont pas tous sur une même droite, détermine au moins n droites distinctes. Dans le présent mémoire, nous allons étudier les théorèmes mentionnés ci-dessus. Nous allons aussi considérer le Théorème de De Bruijn-Erdos dans le cadre des hypergraphes et des espaces métriques.

Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Fixed point results for multivalued contractions on graphs and their applications

Nous présentons dans cette thèse des théorèmes de point fixe pour des contractions multivoques définies sur des espaces métriques, et, sur des espaces de jauges munis d’un graphe. Nous illustrons également les applications de ces résultats à des inclusions intégrales et à la théorie des fractales. Cette thèse est composée de quatre articles qui sont présentés dans quatre chapitres. Dans le chapitre 1, nous établissons des résultats de point fixe pour des fonctions multivoques, appelées G-contractions faibles. Celles-ci envoient des points connexes dans des points connexes et contractent la longueur des chemins. Les ensembles de points fixes sont étudiés. La propriété d’invariance homotopique d’existence d’un point fixe est également établie pour une famille de Gcontractions multivoques faibles. Dans le chapitre 2, nous établissons l’existence de solutions pour des systèmes d’inclusions intégrales de Hammerstein sous des conditions de type de monotonie mixte. L’existence de solutions pour des systèmes d’inclusions différentielles avec conditions initiales ou conditions aux limites périodiques est également obtenue. Nos résultats s’appuient sur nos théorèmes de point fixe pour des G-contractions multivoques faibles établis au chapitre 1. Dans le chapitre 3, nous appliquons ces mêmes résultats de point fixe aux systèmes de fonctions itérées assujettis à un graphe orienté. Plus précisément, nous construisons un espace métrique muni d’un graphe G et une G-contraction appropriés. En utilisant les points fixes de cette G-contraction, nous obtenons plus d’information sur les attracteurs de ces systèmes de fonctions itérées. Dans le chapitre 4, nous considérons des contractions multivoques définies sur un espace de jauges muni d’un graphe. Nous prouvons un résultat de point fixe pour des fonctions multivoques qui envoient des points connexes dans des points connexes et qui satisfont une condition de contraction généralisée. Ensuite, nous étudions des systèmes infinis de fonctions itérées assujettis à un graphe orienté (H-IIFS). Nous donnons des conditions assurant l’existence d’un attracteur unique à un H-IIFS. Enfin, nous appliquons notre résultat de point fixe pour des contractions multivoques définies sur un espace de jauges muni d’un graphe pour obtenir plus d’information sur l’attracteur d’un H-IIFS. Plus précisément, nous construisons un espace de jauges muni d’un graphe G et une G-contraction appropriés tels que ses points fixes sont des sous-attracteurs du H-IIFS.

Photographier la ville, penser l'histoire : Beyrouth dans la représentation photographique artistique contemporaine

Cette étude s’organise autour d’une articulation : celle entre un médium (la photographie), une ville (Beyrouth), et les événements qui ont marqué son passé récent. Le thème des rapports entre la photographie et l’histoire, avec la pluralité de sens qui le décrit, vient, en arrière-fond de ces questions, délimiter l’horizon de cette étude ; le lien entre voir et savoir, antiquement aux sources de la connaissance historique (Hartog, Loraux), en représente la ligne de fuite. En premier plan, la relation photographique et historienne à l’événement constitue l’objet de cette recherche dont le propos est d’identifier dans la photographie une référence à l’histoire considérée en tant qu’écriture. Concrètement, cet argument se déplie sur deux mouvements. Il exige, dans un premier temps, une série d’analyses théoriques visant à étudier le potentiel de connaissance et le caractère formel de la photographie en qualité de représentation événementielle. En partant des expérimentations des avant-gardes (Lugon, Baqué), jusqu’au jumelage entre la photographie et la presse, il s’agira de montrer la part de lisibilité qui appartient aux narrations photographiques (Barthes, Lavoie). Ensuite, on prendra en considération le travail opéré par l’historien lors de l’opération historiographique visant à produire, autour de l’événement, une représentation historique (de Certeau, Ricœur, Ginzburg). Outre faire ressortir le caractère de visibilité qui appartient à l’écriture historienne, ce passage sera aussi l’occasion de produire une étude comparée de la photographie et de l’histoire (Kracauer) autour de notions ponctuelles, comme celles d’empreinte, d’indice et de témoignage. Le moteur de ce premier mouvement est la notion d’événement. Abordée d’un point de vue phénoménologique (Zarader, Marion, Dastur, Diano), elle nous permettra d’observer la photographie et l’histoire d’après la génétique de leur construction. Finalement, Beyrouth et son histoire façonnées par les images constituent le cadre à l’intérieur duquel s’organise le deuxième mouvement. Les analyses des œuvres de Sophie Ristelhueber (Beyrouth photographies, 1984), Robert Frank (Come again, 1991) et Lamia Joreige (Beyrouth, autopsie d’une ville, 2010) sont conçues comme autant d’espaces dialogiques entre la photographie, l’épistémologie de l’histoire et les événements historiques qu’elles représentent. Le propos est de faire ressortir le basculement qu’elles mettent en scène : de la chronique vers l’écriture d’histoire.

When glaciers vanish : nature, power and moral order in the indian Himalayas

La présente thèse est une étude ethnographique qui examine le savoir en tant que pratique située au Ladakh, dans l’Himalaya indien. Elle analyse les implications socioculturelles des deux moteurs de changement en jeu au Ladakh: l’un est d'origine socio-économique et lié à la production du Ladakh en tant que zone frontalière, tandis que l’autre est de nature environnementale et entrainé par les changements climatiques. Alors que le Ladakh est demeuré hors de la portée de l’État bureaucratique pendant l’administration coloniale britannique, la région s’est trouvée reconfigurée en zone frontalière stratégique après l’indépendance de l’Inde des suites des guerres successives avec le Pakistan et la Chine. L’Indépendance a mené à la partition de l’Inde et du Pakistan en 1947; cette thèse examine la portée à long terme des évènements traumatisants de la partition tels qu’ils se sont déroulés au Ladakh et comment les Ladakhis établissent des liens entre ces évènements et les changements climatiques. L’État indien s’est produit dans la région à travers une volonté de dominer les montagnes, principalement par le développement d’infrastructures et par l’intégration du savoir local des Ladakhis dans l’appareil militaire. La militarisation a restructuré l'économie du Ladakh, redéfini la structure des ménages, contribué à l’exode rural, déplacé la centralité des activités agropastorales et, tel que la dissertation le soutient, altéré de manière significative la connexion de la population locale avec l'environnement. La rationalisation croissante de la perspective sur l’environnement aujourd'hui contribue à la fragmentation des liens qui unissent les domaines naturels et humains dans la cosmologie locale de même qu’à l'abandon des pratiques rituelles connexes. Parallèlement, la région est touchée par des effets distincts des changements climatiques, en particulier la récession des glaciers. La thèse juxtapose l'expérience subjective de ces vastes changements dans la vie quotidienne des villageois de la Vallée de Sham avec les faits historiques environnementaux, démontrant ainsi que les événements historiques locaux influent sur les perceptions des changements environnementaux. L'analyse démontre qu’un phénomène objectif tel que la récession des glaciers est interprété à travers des réalités locales. Plus précisément, selon la conception du monde locale, un glacier en retrait est une figure rhétorique d’une transformation de la condition humaine. Comme le fait valoir la dissertation, l’interprétation culturelle ne constitue pas un obstacle à l'objectivité de l'histoire naturelle de la cosmologie locale. L’interprétation culturelle et l'expérience empirique s’avèrent par ailleurs essentielles à la vitalité des connaissances locales sur l'environnement et à la performance des pratiques associées.

Interactive quantum information theory

La théorie de l'information quantique s'est développée à une vitesse fulgurante au cours des vingt dernières années, avec des analogues et extensions des théorèmes de codage de source et de codage sur canal bruité pour la communication unidirectionnelle. Pour la communication interactive, un analogue quantique de la complexité de la communication a été développé, pour lequel les protocoles quantiques peuvent performer exponentiellement mieux que les meilleurs protocoles classiques pour certaines tâches classiques. Cependant, l'information quantique est beaucoup plus sensible au bruit que l'information classique. Il est donc impératif d'utiliser les ressources quantiques à leur plein potentiel. Dans cette thèse, nous étudions les protocoles quantiques interactifs du point de vue de la théorie de l'information et étudions les analogues du codage de source et du codage sur canal bruité. Le cadre considéré est celui de la complexité de la communication: Alice et Bob veulent faire un calcul quantique biparti tout en minimisant la quantité de communication échangée, sans égard au coût des calculs locaux. Nos résultats sont séparés en trois chapitres distincts, qui sont organisés de sorte à ce que chacun puisse être lu indépendamment. Étant donné le rôle central qu'elle occupe dans le contexte de la compression interactive, un chapitre est dédié à l'étude de la tâche de la redistribution d'état quantique. Nous prouvons des bornes inférieures sur les coûts de communication nécessaires dans un contexte interactif. Nous prouvons également des bornes atteignables avec un seul message, dans un contexte d'usage unique. Dans un chapitre subséquent, nous définissons une nouvelle notion de complexité de l'information quantique. Celle-ci caractérise la quantité d'information, plutôt que de communication, qu'Alice et Bob doivent échanger pour calculer une tâche bipartie. Nous prouvons beaucoup de propriétés structurelles pour cette quantité, et nous lui donnons une interprétation opérationnelle en tant que complexité de la communication quantique amortie. Dans le cas particulier d'entrées classiques, nous donnons une autre caractérisation permettant de quantifier le coût encouru par un protocole quantique qui oublie de l'information classique. Deux applications sont présentées: le premier résultat général de somme directe pour la complexité de la communication quantique à plus d'une ronde, ainsi qu'une borne optimale, à un terme polylogarithmique près, pour la complexité de la communication quantique avec un nombre de rondes limité pour la fonction « ensembles disjoints ». Dans un chapitre final, nous initions l'étude de la capacité interactive quantique pour les canaux bruités. Étant donné que les techniques pour distribuer de l'intrication sont bien étudiées, nous nous concentrons sur un modèle avec intrication préalable parfaite et communication classique bruitée. Nous démontrons que dans le cadre plus ardu des erreurs adversarielles, nous pouvons tolérer un taux d'erreur maximal de une demie moins epsilon, avec epsilon plus grand que zéro arbitrairement petit, et ce avec un taux de communication positif. Il s'ensuit que les canaux avec bruit aléatoire ayant une capacité positive pour la transmission unidirectionnelle ont une capacité positive pour la communication interactive quantique. Nous concluons avec une discussion de nos résultats et des directions futures pour ce programme de recherche sur une théorie de l'information quantique interactive.