Apprentissage machine efficace : théorie et pratique

Malgré des progrès constants en termes de capacité de calcul, mémoire et quantité de données disponibles, les algorithmes d'apprentissage machine doivent se montrer efficaces dans l'utilisation de ces ressources. La minimisation des coûts est évidemment un facteur important, mais une autre motivation est la recherche de mécanismes d'apprentissage capables de reproduire le comportement d'êtres intelligents. Cette thèse aborde le problème de l'efficacité à travers plusieurs articles traitant d'algorithmes d'apprentissage variés : ce problème est vu non seulement du point de vue de l'efficacité computationnelle (temps de calcul et mémoire utilisés), mais aussi de celui de l'efficacité statistique (nombre d'exemples requis pour accomplir une tâche donnée). Une première contribution apportée par cette thèse est la mise en lumière d'inefficacités statistiques dans des algorithmes existants. Nous montrons ainsi que les arbres de décision généralisent mal pour certains types de tâches (chapitre 3), de même que les algorithmes classiques d'apprentissage semi-supervisé à base de graphe (chapitre 5), chacun étant affecté par une forme particulière de la malédiction de la dimensionalité. Pour une certaine classe de réseaux de neurones, appelés réseaux sommes-produits, nous montrons qu'il peut être exponentiellement moins efficace de représenter certaines fonctions par des réseaux à une seule couche cachée, comparé à des réseaux profonds (chapitre 4). Nos analyses permettent de mieux comprendre certains problèmes intrinsèques liés à ces algorithmes, et d'orienter la recherche dans des directions qui pourraient permettre de les résoudre. Nous identifions également des inefficacités computationnelles dans les algorithmes d'apprentissage semi-supervisé à base de graphe (chapitre 5), et dans l'apprentissage de mélanges de Gaussiennes en présence de valeurs manquantes (chapitre 6). Dans les deux cas, nous proposons de nouveaux algorithmes capables de traiter des ensembles de données significativement plus grands. Les deux derniers chapitres traitent de l'efficacité computationnelle sous un angle différent. Dans le chapitre 7, nous analysons de manière théorique un algorithme existant pour l'apprentissage efficace dans les machines de Boltzmann restreintes (la divergence contrastive), afin de mieux comprendre les raisons qui expliquent le succès de cet algorithme. Finalement, dans le chapitre 8 nous présentons une application de l'apprentissage machine dans le domaine des jeux vidéo, pour laquelle le problème de l'efficacité computationnelle est relié à des considérations d'ingénierie logicielle et matérielle, souvent ignorées en recherche mais ô combien importantes en pratique.

Étude des cellules dendritiques chez les patients qui ont subi une greffe de cellules souches allogéniques

La vigueur de la réponse immunitaire générée par les cellules dendritiques (DC) a positionné ces cellules comme médiatrices centrales dans l’activation des lymphocytes T. La vulnérabilité des cellules cancéreuses de leucémie myéloïde chronique (LMC) à l’intervention immunitaire résulte apparemment de la capacité des cellules leucémiques de se différencier en DC. Ces DC ont alors la capacité de présenter des peptides provenant des cellules souches leucémiques aux lymphocytes T. Dans ce travail, nous démontrons que la plupart des patients atteints d’une LMC présentent un déficit important en DC au niveau du sang et de la moelle osseuse avant la greffe de cellules souches allogéniques. Les faibles niveaux de DC circulantes résultent en grande partie d’une perte de la diversité au niveau des cellules progénitrices CD34+ leucémiques au niveau de la moelle osseuse. Ces cellules progénitrices CD34+ présentent d’ailleurs une capacité réduite à se différencier en DC in vitro. Nous avons trouvé qu’un décompte faible de DC avant une greffe allogénique était associé à une diminution significative de la survie et une augmentation considérable du risque de développer une des complications mortelles. Puisque la reconstitution des DC suite à la greffe est absente, notre étude appuie aussi la thèse que ce sont les cellules DC pré greffe qui sont primordiales dans l'effet du greffon contre leucémie (GVL). Dans ce contexte, notre étude suggère que le compte des DC avant la greffe allogénique pourrait servir de marqueur pronostique pour identifier les patients LMC à risque de développer certaines complications suite à une greffe allogénique.

Probabilité et temps de fixation à l’aide de processus ancestraux

Ce mémoire analyse l’espérance du temps de fixation conditionnellement à ce qu’elle se produise et la probabilité de fixation d’un nouvel allèle mutant dans des populations soumises à différents phénomènes biologiques en uti- lisant l’approche des processus ancestraux. Tout d’abord, l’article de Tajima (1990) est analysé et les différentes preuves y étant manquantes ou incomplètes sont détaillées, dans le but de se familiariser avec les calculs du temps de fixa- tion. L’étude de cet article permet aussi de démontrer l’importance du temps de fixation sur certains phénomènes biologiques. Par la suite, l’effet de la sé- lection naturelle est introduit au modèle. L’article de Mano (2009) cite un ré- sultat intéressant quant à l’espérance du temps de fixation conditionnellement à ce que celle-ci survienne qui utilise une approximation par un processus de diffusion. Une nouvelle méthode utilisant le processus ancestral est présentée afin d’arriver à une bonne approximation de ce résultat. Des simulations sont faites afin de vérifier l’exactitude de la nouvelle approche. Finalement, un mo- dèle soumis à la conversion génique est analysé, puisque ce phénomène, en présence de biais, a un effet similaire à celui de la sélection. Nous obtenons finalement un résultat analytique pour la probabilité de fixation d’un nouveau mutant dans la population. Enfin, des simulations sont faites afin de détermi- nerlaprobabilitédefixationainsiqueletempsdefixationconditionnellorsque les taux sont trop grands pour pouvoir les calculer analytiquement.

Estimation du modèle GARCH à changement de régimes et son utilité pour quantifier le risque de modèle dans les applications financières en actuariat

Le modèle GARCH à changement de régimes est le fondement de cette thèse. Ce modèle offre de riches dynamiques pour modéliser les données financières en combinant une structure GARCH avec des paramètres qui varient dans le temps. Cette flexibilité donne malheureusement lieu à un problème de path dependence, qui a empêché l'estimation du modèle par le maximum de vraisemblance depuis son introduction, il y a déjà près de 20 ans. La première moitié de cette thèse procure une solution à ce problème en développant deux méthodologies permettant de calculer l'estimateur du maximum de vraisemblance du modèle GARCH à changement de régimes. La première technique d'estimation proposée est basée sur l'algorithme Monte Carlo EM et sur l'échantillonnage préférentiel, tandis que la deuxième consiste en la généralisation des approximations du modèle introduites dans les deux dernières décennies, connues sous le nom de collapsing procedures. Cette généralisation permet d'établir un lien méthodologique entre ces approximations et le filtre particulaire. La découverte de cette relation est importante, car elle permet de justifier la validité de l'approche dite par collapsing pour estimer le modèle GARCH à changement de régimes. La deuxième moitié de cette thèse tire sa motivation de la crise financière de la fin des années 2000 pendant laquelle une mauvaise évaluation des risques au sein de plusieurs compagnies financières a entraîné de nombreux échecs institutionnels. À l'aide d'un large éventail de 78 modèles économétriques, dont plusieurs généralisations du modèle GARCH à changement de régimes, il est démontré que le risque de modèle joue un rôle très important dans l'évaluation et la gestion du risque d'investissement à long terme dans le cadre des fonds distincts. Bien que la littérature financière a dévoué beaucoup de recherche pour faire progresser les modèles économétriques dans le but d'améliorer la tarification et la couverture des produits financiers, les approches permettant de mesurer l'efficacité d'une stratégie de couverture dynamique ont peu évolué. Cette thèse offre une contribution méthodologique dans ce domaine en proposant un cadre statistique, basé sur la régression, permettant de mieux mesurer cette efficacité.

The Search for New Resonances in Strong Symmetry Breaking Scenarios with the ATLAS Detector

Utilisant les plus récentes données recueillies par le détecteur ATLAS lors de collisions pp à 7 et 8 TeV au LHC, cette thèse établira des contraintes sévères sur une multitude de modèles allant au-delà du modèle standard (MS) de la physique des particules. Plus particulièrement, deux types de particules hypothétiques, existant dans divers modèles théoriques et qui ne sont pas présentes dans le MS, seront étudiés et sondés. Le premier type étudié sera les quarks-vectoriels (QV) produits lors de collisions pp par l’entremise de couplages électrofaibles avec les quarks légers u et d. On recherchera ces QV lorsqu’ils se désintègrent en un boson W ou Z, et un quark léger. Des arguments théoriques établissent que sous certaines conditions raisonnables la production simple dominerait la production en paires des QV. La topologie particulière des évènements en production simple des QV permettra alors la mise en oeuvre de techniques d’optimisation efficaces pour leur extraction des bruits de fond électrofaibles. Le deuxième type de particules recherché sera celles qui se désintègrent en WZ lorsque ces bosons de jauges W, et Z se désintègrent leptoniquement. Les états finaux détectés par ATLAS seront par conséquent des évènements ayant trois leptons et de l’énergie transverse manquante. La distribution de la masse invariante de ces objets sera alors examinée pour déterminer la présence ou non de nouvelles résonances qui se manifesterait par un excès localisé. Malgré le fait qu’à première vue ces deux nouveaux types de particules n’ont que très peu en commun, ils ont en réalité tous deux un lien étroit avec la brisure de symétrie électrofaible. Dans plusieurs modèles théoriques, l’existence hypothétique des QV est proposé pour annuler les contributions du quark top aux corrections radiatives de la masse du Higgs du MS. Parallèlement, d’autres modèles prédisent quant à eux des résonances en WZ tout en suggérant que le Higgs est une particule composite, chambardant ainsi tout le sector Higgs du MS. Ainsi, les deux analyses présentées dans cette thèse ont un lien fondamental avec la nature même du Higgs, élargissant par le fait même nos connaissances sur l’origine de la masse intrinsèque des particules. En fin de compte, les deux analyses n’ont pas observé d’excès significatif dans leurs régions de signal respectives, ce qui permet d’établir des limites sur la section efficace de production en fonction de la masse des résonances.

Approches bio-informatiques appliquées aux technologies émergentes en génomique

Les études génétiques, telles que les études de liaison ou d’association, ont permis d’acquérir une plus grande connaissance sur l’étiologie de plusieurs maladies affectant les populations humaines. Même si une dizaine de milliers d’études génétiques ont été réalisées sur des centaines de maladies ou autres traits, une grande partie de leur héritabilité reste inexpliquée. Depuis une dizaine d’années, plusieurs percées dans le domaine de la génomique ont été réalisées. Par exemple, l’utilisation des micropuces d’hybridation génomique comparative à haute densité a permis de démontrer l’existence à grande échelle des variations et des polymorphismes en nombre de copies. Ces derniers sont maintenant détectables à l’aide de micropuce d’ADN ou du séquençage à haut débit. De plus, des études récentes utilisant le séquençage à haut débit ont permis de démontrer que la majorité des variations présentes dans l’exome d’un individu étaient rares ou même propres à cet individu. Ceci a permis la conception d’une nouvelle micropuce d’ADN permettant de déterminer rapidement et à faible coût le génotype de plusieurs milliers de variations rares pour un grand ensemble d’individus à la fois. Dans ce contexte, l’objectif général de cette thèse vise le développement de nouvelles méthodologies et de nouveaux outils bio-informatiques de haute performance permettant la détection, à de hauts critères de qualité, des variations en nombre de copies et des variations nucléotidiques rares dans le cadre d’études génétiques. Ces avancées permettront, à long terme, d’expliquer une plus grande partie de l’héritabilité manquante des traits complexes, poussant ainsi l’avancement des connaissances sur l’étiologie de ces derniers. Un algorithme permettant le partitionnement des polymorphismes en nombre de copies a donc été conçu, rendant possible l’utilisation de ces variations structurales dans le cadre d’étude de liaison génétique sur données familiales. Ensuite, une étude exploratoire a permis de caractériser les différents problèmes associés aux études génétiques utilisant des variations en nombre de copies rares sur des individus non reliés. Cette étude a été réalisée avec la collaboration du Wellcome Trust Centre for Human Genetics de l’University of Oxford. Par la suite, une comparaison de la performance des algorithmes de génotypage lors de leur utilisation avec une nouvelle micropuce d’ADN contenant une majorité de marqueurs rares a été réalisée. Finalement, un outil bio-informatique permettant de filtrer de façon efficace et rapide des données génétiques a été implémenté. Cet outil permet de générer des données de meilleure qualité, avec une meilleure reproductibilité des résultats, tout en diminuant les chances d’obtenir une fausse association.

What is ambiguity?

The concept of Ambiguity designates those situations where the information available to the decision maker is insufficient to form a probabilistic view of the world. Thus, it has provided the motivation for departing from the Subjective Expected Utility (SEU) paradigm. Yet, the formalization of the concept is missing. This is a grave omission as it leaves non-expected utility models hanging on a shaky ground. In particular, it leaves unanswered basic questions such as: (1) Does Ambiguity exist?; (2) If so, which situations should be labeled as "ambiguous"?; (3) Why should one depart from Subjective Expected Utility (SEU) in the presence of Ambiguity?; and (4) If so, what kind of behavior should emerge in the presence of Ambiguity? The present paper fills these gaps. Specifically, it identifies those information structures that are incompatible with SEU theory, and shows that their mathematical properties are the formal counterpart of the intuitive idea of insufficient information. These are used to give a formal definition of Ambiguity and, consequently, to distinguish between ambiguous and unambiguous situations. Finally, the paper shows that behavior not conforming to SEU theory must emerge in correspondence of insufficient information and identifies the class of non-EU models that emerge in the face of Ambiguity. The paper also proposes a new comparative definition of Ambiguity, and discusses its relation with some of the existing literature.

Relevé spectroscopique et étude des propriétés physiques des étoiles naines blanches à moins de 40 parsecs du Soleil

Les étoiles naines blanches représentent la fin de l’évolution de 97% des étoiles de notre galaxie, dont notre Soleil. L’étude des propriétés globales de ces étoiles (distribution en température, distribution de masse, fonction de luminosité, etc.) requiert l’élaboration d’ensembles statistiquement complets et bien définis. Bien que plusieurs relevés d’étoiles naines blanches existent dans la littérature, la plupart de ceux-ci souffrent de biais statistiques importants pour ce genre d’analyse. L’échantillon le plus représentatif de la population d’étoiles naines blanches demeure à ce jour celui défini dans un volume complet, restreint à l’environnement immédiat du Soleil, soit à une distance de 20 pc (∼ 65 années-lumière) de celui-ci. Malheureusement, comme les naines blanches sont des étoiles intrinsèquement peu lumineuses, cet échantillon ne contient que ∼ 130 objets, compromettant ainsi toute étude statistique significative. Le but de notre étude est de recenser la population d’étoiles naines blanches dans le voisinage solaire a une distance de 40 pc, soit un volume huit fois plus grand. Nous avons ainsi entrepris de répertorier toutes les étoiles naines blanches à moins de 40 pc du Soleil à partir de SUPERBLINK, un vaste catalogue contenant le mouvement propre et les données photométriques de plus de 2 millions d’étoiles. Notre approche est basée sur la méthode des mouvements propres réduits qui permet d’isoler les étoiles naines blanches des autres populations stellaires. Les distances de toutes les candidates naines blanches sont estimées à l’aide de relations couleur-magnitude théoriques afin d’identifier les objets se situant à moins de 40 pc du Soleil, dans l’hémisphère nord. La confirmation spectroscopique du statut de naine blanche de nos ∼ 1100 candidates a ensuite requis 15 missions d’observations astronomiques sur trois grands télescopes à Kitt Peak en Arizona, ainsi qu’une soixantaine d’heures allouées sur les télescopes de 8 m des observatoires Gemini Nord et Sud. Nous avons ainsi découvert 322 nouvelles étoiles naines blanches de plusieurs types spectraux différents, dont 173 sont à moins de 40 pc, soit une augmentation de 40% du nombre de naines blanches connues à l’intérieur de ce volume. Parmi ces nouvelles naines blanches, 4 se trouvent probablement à moins de 20 pc du Soleil. De plus, nous démontrons que notre technique est très efficace pour identifier les étoiles naines blanches dans la région peuplée du plan de la Galaxie. Nous présentons ensuite une analyse spectroscopique et photométrique détaillée de notre échantillon à l’aide de modèles d’atmosphère afin de déterminer les propriétés physiques de ces étoiles, notamment la température, la gravité de surface et la composition chimique. Notre analyse statistique de ces propriétés, basée sur un échantillon presque trois fois plus grand que celui à 20 pc, révèle que nous avons identifié avec succès les étoiles les plus massives, et donc les moins lumineuses, de cette population qui sont souvent absentes de la plupart des relevés publiés. Nous avons également identifié plusieurs naines blanches très froides, et donc potentiellement très vieilles, qui nous permettent de mieux définir le côté froid de la fonction de luminosité, et éventuellement l’âge du disque de la Galaxie. Finalement, nous avons aussi découvert plusieurs objets d’intérêt astrophysique, dont deux nouvelles étoiles naines blanches variables de type ZZ Ceti, plusieurs naines blanches magnétiques, ainsi que de nombreux systèmes binaires non résolus.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Genetic diversity of Mycoplasma hyopneumoniae isolates of abattoir pigs.

Mycoplasma hyopneumoniae, the causative agent of porcine enzootic pneumonia, is present in swine herds worldwide. However, there is little information on strains infecting herds in Canada. A total of 160 swine lungs with lesions suggestive of enzootic pneumonia originating from 48 different farms were recovered from two slaughterhouses and submitted for gross pathology. The pneumonic lesion scores ranged from 2% to 84%. Eighty nine percent of the lungs (143/160) were positive for M. hyopneumoniae by real-time PCR whereas 10% (16/160) and 8.8% (14/160) were positive by PCR for M. hyorhinis and M. flocculare, respectively. By culture, only 6% of the samples were positive for M. hyopneumoniae (10/160). Among the selected M. hyopneumoniae-positive lungs (n = 25), 9 lungs were co-infected with M. hyorhinis, 9 lungs with PCV2, 2 lungs with PRRSV, 12 lungs with S. suis and 10 lungs with P. multocida. MLVA and PCR-RFLP clustering of M. hyopneumoniae revealed that analyzed strains were distributed among three and five clusters respectively, regardless of severity of lesions, indicating that no cluster is associated with virulence. However, strains missing a specific MLVA locus showed significantly less severe lesions and lower numbers of bacteria. MLVA and PCR-RFLP analyses also showed a high diversity among field isolates of M. hyopneumoniae with a greater homogeneity within the same herd. Almost half of the field isolates presented less than 55% homology with selected vaccine and reference strains.

Étude de la cinématique HI (21cm) et H-Alpha de la galaxie du Triangle (M33).

Latex a été utilisé pour la redaction de cette thèse.