Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Role of the ASPP Family in the Regulation of p53-Mediated Apoptotic Death of Retinal Ganglion Cells after Optic Nerve Injury

Le glaucome est la première cause de cécité irréversible à travers le monde. À présent il n’existe aucun remède au glaucome, et les thérapies adoptées sont souvent inadéquates. La perte de vision causée par le glaucome est due à la mort sélective des cellules rétiniennes ganglionnaires, les neurones qui envoient de l’information visuelle de la rétine au cerveau. Le mécanisme principal menant au dommage des cellules rétiniennes ganglionnaires lors du glaucome n’est pas bien compris, mais quelques responsables putatifs ont été proposés tels que l’excitotoxicité, le manque de neurotrophines, la compression mécanique, l’ischémie, les astrocytes réactifs et le stress oxidatif, parmis d’autres. Indépendamment de la cause, il est bien établi que la perte des cellules rétiniennes ganglionnaires lors du glaucome est causée par la mort cellulaire programmée apoptotique. Cependant, les mécanismes moléculaires précis qui déclenchent l’apoptose dans les cellules rétiniennes ganglionnaires adultes sont mal définis. Pour aborder ce point, j’ai avancé l’hypothèse centrale que l’identification de voies de signalisations moléculaires impliquées dans la mort apoptotique des cellules rétiniennes ganglionnaires offrirait des avenues thérapeutiques pour ralentir ou même prévenir la mort de celles-ci lors de neuropathies oculaires telles que le glaucome. Dans la première partie de ma thèse, j’ai caractérisé le rôle de la famille de protéines stimulatrices d’apoptose de p53 (ASPP), protéines régulatrices de la famille p53, dans la mort apoptotique des cellules rétiniennes ganglionnaires. p53 est un facteur de transcription nucléaire impliqué dans des fonctions cellulaires variant de la transcription à l’apoptose. Les membres de la famille ASPP, soit ASPP1, ASPP2 et iASPP, sont des protéines de liaison de p53 qui régulent l’apoptose. Pourtant, le rôle de la famille des ASPP dans la mort des cellules rétiniennes ganglionnaires est inconnu. ASPP1 et ASPP2 étant pro-apoptotiques, l’hypothèse de cette première étude est que la baisse ciblée de ASPP1 et ASPP2 promouvrait la survie des cellules rétiniennes ganglionnaires après une blessure du nerf optique. Nous avons utilisé un modèle expérimental bien caractérisé de mort apoptotique neuronale induite par axotomie du nerf optique chez le rat de type Sprague Dawley. Les résultats de cette étude (Wilson et al. Journal of Neuroscience, 2013) ont démontré que p53 est impliqué dans la mort apoptotique des cellules rétiniennes ganglionnaires, et qu’une baisse ciblée de ASPP1 et ASPP2 par acide ribonucléique d’interference promeut la survie des cellules rétiniennes ganglionnaires. Dans la deuxième partie de ma thèse, j’ai caractérisé le rôle d’iASPP, le membre anti-apoptotique de la famille des ASPP, dans la mort apoptotique des cellules rétiniennes ganglionnaires. L’hypothèse de cette seconde étude est que la surexpression d’iASPP promouvrait la survie des cellules rétiniennes ganglionnaires après axotomie. Mes résultats (Wilson et al. PLoS ONE, 2014) démontrent que le knockdown ciblé de iASPP exacerbe la mort apoptotique des cellules rétiniennes ganglionnaires, et que la surexpression de iASPP par virus adéno-associé promeut la survie des cellules rétiniennes ganglionnaires. En conclusion, les résultats présentés dans cette thèse contribuent à une meilleure compréhension des mécanismes régulateurs sous-jacents la perte de cellules rétiniennes ganglionnaires par apoptose et pourraient fournir des pistes pour la conception de nouvelles stratégies neuroprotectrices pour le traitement de maladies neurodégénératives telles que le glaucome.

Essays on education and family planning

Le capital humain d’un pays est un facteur important de sa croissance et de son développement à long terme. Selon l’Unicef, ce capital humain est constitué en donnant à chaque enfant un bon départ dans la vie : non seule- ment la possibilité de survivre, mais aussi les conditions nécessaires pour se développer et réaliser tout son potentiel. Malheureusement, cet état de fait est loin d’être une réalité en Afrique Subsaharienne. En effet, selon toujours l’Unicef et sur la base d’enquêtes ménages dans 21 pays d’Afrique de l’Ouest et du Centre, c’est près de 32 millions d’enfants qui ont l’âge officiel d’être scolarisés, mais qui ne le sont pas. A ces chiffres, il faut ajouter 17 millions d’enfants scolarisés qui risquent fortement l’exclusion. De son Côté, l’OMS pointe du doigt la mauvaise santé des enfants dans cette région. Ainsi, les décès d’enfants sont de plus en plus concentrés en Afrique subsaharienne où les enfants ont plus de 15 fois plus de risques de mourir avant l’âge de cinq ans que les enfants des régions développées. Les difficultés économiques apparaissent comme la première explication des obstacles à l’amélioration du bien être des enfants aussi bien du côté de l’offre que de la demande. Cette thèse relie trois essais sur d’une part le lien entre conflit armés, l’éducation et la mortalité des enfants et d’autre part sur le lien entre fertilité et éducation des enfants en milieu urbain. Le premier chapitre identifie l’impact de la crise politico-militaire de la Côte d’Ivoire sur le bien être des enfants, en particulier sur l’éducation et la mor- talité infanto-juvénile en exploitant la variation temporelle et géographique de la crise. Il ressort de cette analyse que les individus qui vivaient dans les régions de conflit et qui ont atteint durant la crise, l’âge officiel d’entrer à l’école ont 10% moins de chance d’être inscrits à l’école. Les élèves qui habitaient dans des régions de conflit pendant la crise ont subit une diminu- tion du nombre d’années scolaire d’au moins une année. Les élèves les plus v vi âgés et qui sont susceptibles d’être au secondaire ont connu une décroissance du nombre d’année scolaire d’au moins deux années. Il ressort également que la crise ivoirienne a accru la mortalité infanto-juvénile d’au moins 3%. Mes résultats suggèrent également que la détérioration des conditions de vie et la limitation de l’utilisation des services de santé au cours du conflit con- tribuent à expliquer ces effets négatifs. Des tests de robustesse incluant un test de placebo suggèrent que les résultats ne sont pas dus à des différences préexistantes entre les régions affectées par le conflit et celles non affectées. Le deuxième chapitre étudie les disparités intra-urbaines en matière d’arbitrage entre le nombre d’enfant et la scolarisation des enfants en se focalisant sur le cas de Ouagadougou (Capitale du Burkina Faso). Dans cette ville, au moins 33% des deux millions d’habitants vivent dans des zones informelles (appelées localement des zones non-loties). Cette sous-population manque d’infrastructures socioéconomiques de base et a un niveau d’éducation très bas. Dans ce chapitre, prenant en compte la possible endogénéité du nombre d’enfants et en utilisant une approche "two-step control function" avec des modèles Probit, nous investiguons les différences de comportement des mé- nages en matière de scolarisation entre zones formelles et zones informelles. Nous nous focalisons en particulier sur l’arbitrage entre la "quantité" et la "qualité" des enfants. Compte tenu de l’hétérogénéité des deux types de zones, nous utilisons les probabilités prédites pour les comparer. Nos princi- pales conclusions sont les suivantes. Tout d’abord, nous trouvons un impact négatif de la taille de la famille sur le niveau de scolarisation dans les deux types de zone. Cependant, nous constatons que l’impact est plus aigu dans les zones informelles. Deuxièmement, si nous supposons que le caractère en- dogène du nombre d’enfants est essentiellement due à la causalité inverse, les résultats suggèrent que dans les zones formelles les parents tiennent compte de la scolarisation des enfants dans la décision de leur nombre d’enfants, mais ce ne est pas le cas dans les zones informelles. Enfin, nous constatons que, pour des familles avec les mêmes caractéristiques observables, la probabilité d’atteindre le niveau post-primaire est plus élevée dans les zones formelles que dans les zones informelles. En terme d’implications politique, selon ces résultats, les efforts pour améliorer la scolarisation des enfants ne doivent pas être dirigées uniquement vers les zones rurales. En plus de réduire les frais de scolarité dans certaines zones urbaines, en particulier les zones informelles, un accent particulier devrait être mis sur la sensibilisation sur les avantages de l’éducation pour le bien-être des enfants et leur famille. Enfin, du point vii de vue méthodologique, nos résultats montrent l’importance de tenir compte de l’hétérogénéité non observée entre les sous-populations dans l’explication des phénomènes socio-économiques. Compte tenu du lien négatif entre la taille de la famille et la scolarisation des enfants d’une part et les différences intra-urbaines de comportement des ménages en matière de scolarisation, le trosième chapitre étudie le rôle des types de méthodes contraceptives dans l’espacement des naissances en mi- lieu urbain. Ainsi, en distinguant les méthodes modernes et traditionnelles et en utilisant l’histoire génétique des femmes, ce chapitre fait ressortir des différences de comportement en matière de contraception entre les femmes des zones formelles et informelles à Ouagadougou (capitale du Burkina Faso). Les résultats montrent que les deux types de méthodes contraceptives aug- mentent l’écart des naissances et diminuent la probabilité qu’une naissance se produise moins de 24 mois après la précédente. Prendre en compte les caractéristiques non observées mais invariants avec le temps ne modifie pas significativement l’amplitude du coefficient de l’utilisation de la contracep- tion moderne dans les deux types de zone. Toutefois, dans la zone informelle, la prise en compte les effets fixes des femmes augmentent significativement l’effet des méthodes traditionnelles. Les normes sociales, la perception de la planification familiale et le rôle du partenaire de la femme pourraient expli- quer ces différences de comportement entre les zones formelles et informelles. Par conséquent, pour améliorer l’utilisation de la contraception et de leur efficacité, il est essentiel de hiérarchiser les actions en fonction du type de sous-population, même dans les zones urbaines.

The predictive role of parenting practices and family functioning on the core symptoms of ADHD

Cette étude vise à examiner la relation entre les pratiques parentales utilisées durant la période de l'enfance et les dimensions principales du du trouble déficitaire de l'attention avec hyperactivité (TDAH) à l'adolescence, soit l’inattention, l’hyperactivité et l’impulsivité. Les pratiques spécifiques parentales (engagement, pratiques parentales appropriée, supervision, punitions corporelles, discipline appropriée, discipline sévère et incohérente, discipline verbale positive, félicitations et récompenses, et les attentes claires) et les aspects du fonctionnement familial (communication, résolution de problèmes, rôles dans la famille, sensibilité affective, engagement affectif, contrôle comportemental) ont été examinés par rapport à l'inattention et d'hyperactivité. Trente-six enfants de 6 à 9 ans et leurs parents ont participé à une étude longitudinale de 5 ans. Il y a un manque d'études longitudinales dans ce domaine et cette étude vise à combler cette lacune. Les résultats ne montrent pas de résultats significatifs dans la relation entre les pratiques parentales utilisées dans l'enfance et les symptômes principaux de l'hyperactivité et l'inattention à l'adolescence. Les études futures devraient se concentrer sur la relation entre la psychopathologie parentale et les principaux symptômes du TDAH de l'enfance à l'adolescence, ainsi que l'impact des pratiques parentales sur ces principaux symptômes.