Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Les causes des violences ethniques de 2010 au Kirghizistan

Suivant les violences du sud du Kirghizistan en 2010, plusieurs auteurs de même que des médias ont décrit les affrontements entre les Ouzbèks et les Kirghizes comme étant dûs à des manipulations de l’ethnicité par les élites de la région. Ce travail de mémoire de maîtrise analyse l’influence des élites dans la société kirghize, elle évalue la capacité de celles-ci à mobiliser les gens pour quelque chose d’aussi radical que des violences ethniques. L’emprise politique et économique des élites kirghizes et ouzbèkes sur la société est donc confrontée à des facteurs de mobilisation plus émotifs. La théorie de Scott Radnitz sur le clientélisme et sur la capacité qu’ont les élites à réunir une foule majeure pour des regroupements publics sera notamment examinée et mise en opposition à des théories qui attribuent des causes plus émotionnelles aux affrontements. Cette analyse démontre que la théorie de Scott Radnitz indique une bonne première piste à suivre pour l’étude de toute mobilisation au Kirghizistan. Cependant, pour la mobilisation menant à des violences ethniques, il faut apporter une petite nuance afin d’incorporer les aspects émotionnels à la mobilisation.

Changements démographiques et inégalités éducatives à Ouagadougou

Depuis plusieurs décennies, des études empiriques réalisées sur plusieurs pays développés ou en émergence ont montré que la baisse de la taille de la famille favorise l’investissement dans l’éducation des enfants, expliquant qu’un nombre élevé d’enfants a un effet d’amenuisement des ressources familiales. Les retombées positives de la baisse de la fécondité sur l’éducation sont largement étudiées et connues. En dépit des résultats controversés des premières études portant sur les pays de l’Afrique de l’Ouest, les récentes études empiriques tendent à confirmer l’effet positif de la baisse de la taille de la famille dans le contexte africain, du moins en milieu urbain. Par contre, jusqu’à présent, très peu d’études semblent intéressées à analyser la répartition de ces retombées entre les enfants, et encore moins à comprendre comment ces dernières affecteraient la structure des inégalités éducatives existantes. Notre étude s’intéresse à explorer la potentielle dimension démographique des inégalités socioéconomiques, notamment les inégalités éducatives dans le contexte de la baisse de la fécondité. Elle vise à apporter des évidences empiriques sur le lien entre la réduction de la taille de la famille et les inégalités éducatives au sein des ménages dans le contexte d’Ouagadougou, Capitale du Burkina Faso, qui connait depuis quelques décennies la chute de la fécondité. Elle analyse aussi l’effet de cette réduction sur la transmission intergénérationnelle des désavantages éducatifs. Pour ce faire, nous proposons un cadre conceptuel pour comprendre les mécanismes par lesquels la relation entre la réduction de la taille de la famille et les inégalités éducatives se tisse. Ce cadre conceptuel s’appuie sur une recension des écrits de divers auteurs à ce sujet. Par la suite, nous procédons à des analyses empiriques permettant de tester ces liens en utilisant les données du projet Demtrend collectées. Les résultats empiriques sont présentés sous forme d’articles scientifiques. Les conclusions du premier article indiquent que la relation entre le nombre d’enfants de la famille et l’éducation varie selon le contexte socioéconomique. En effet, pour les générations qui ont grandi dans un contexte socioéconomique colonial et postcolonial, où le mode de production était essentiellement agricole et l’éducation formelle n’était pas encore valorisée sur le marché du travail, la relation est très faible et positive. Par contre, pour les récentes générations, nous avons observé que la relation devient négative et fortement significative. De plus, les résultats de cet article suggèrent aussi que la famille d’origine des femmes a une incidence significative sur leur comportement de fécondité. Les femmes dont la mère avait un niveau de scolarité élevé (et étaient de statut socioéconomique aisé) ont moins d’enfants comparativement à celles dont leurs parents avaient un faible niveau de scolarité (et pauvres). En retour, leurs enfants sont aussi les plus éduqués. Ce qui sous-tend à un éventuel effet de levier de la réduction de la taille de la famille dans le processus de transmission intergénérationnelle des désavantages éducatifs. Le second article fait une comparaison entre les ménages de grande taille et ceux de petite taille en matière d’inégalités éducatives entre les enfants au sein des ménages familiaux, en considérant le sexe, l’ordre de naissance et les termes d’interaction entre ces deux variables. Les résultats de cet article montrent que généralement les enfants des familles de petite taille sont plus scolarisés et atteignent un niveau d’éducation plus élevé que ceux des grandes familles. Toutefois, les filles ainées des petites familles s’avèrent moins éduquées que leurs pairs. Ce déficit persiste après avoir considéré seulement les ménages familiaux monogames ou encore après le contrôle de la composition de la fratrie. L’émancipation des femmes sur le marché du travail résultant de la réduction de la taille de la famille et la faible contribution des pères dans les activités domestiques expliqueraient en partie cette situation. Malheureusement, nous n’avons pas pu contrôler l’activité économique des mères dans les analyses. Finalement, dans le cadre du troisième et dernier article, nous avons examiné l’effet d’avoir été confié par le passé sur les inégalités éducatives au sein de la fratrie, en comparant ceux qui ont été confiés aux autres membres de leur fratrie qui n’ont jamais été confiés. Dans cet article, nous avons considéré l’aspect hétérogène du confiage en le différenciant selon le sexe, la relation de la mère avec le chef du ménage d’accueil et l’âge auquel l’enfant a été confié. Les résultats montrent qu’avoir été confié dans le passé influence négativement le parcours scolaire des enfants. Cependant, cet effet négatif reste fort et significatif que pour les filles qui ont été confiées après leurs 10 ans d’âge. Un profil qui correspond à la demande de main-d’œuvre en milieu urbain pour l’accomplissement des tâches domestiques, surtout dans le contexte de la baisse de la taille de la famille et l’émancipation des femmes sur le marché du travail.