Apprentissage machine efficace : théorie et pratique

Malgré des progrès constants en termes de capacité de calcul, mémoire et quantité de données disponibles, les algorithmes d'apprentissage machine doivent se montrer efficaces dans l'utilisation de ces ressources. La minimisation des coûts est évidemment un facteur important, mais une autre motivation est la recherche de mécanismes d'apprentissage capables de reproduire le comportement d'êtres intelligents. Cette thèse aborde le problème de l'efficacité à travers plusieurs articles traitant d'algorithmes d'apprentissage variés : ce problème est vu non seulement du point de vue de l'efficacité computationnelle (temps de calcul et mémoire utilisés), mais aussi de celui de l'efficacité statistique (nombre d'exemples requis pour accomplir une tâche donnée). Une première contribution apportée par cette thèse est la mise en lumière d'inefficacités statistiques dans des algorithmes existants. Nous montrons ainsi que les arbres de décision généralisent mal pour certains types de tâches (chapitre 3), de même que les algorithmes classiques d'apprentissage semi-supervisé à base de graphe (chapitre 5), chacun étant affecté par une forme particulière de la malédiction de la dimensionalité. Pour une certaine classe de réseaux de neurones, appelés réseaux sommes-produits, nous montrons qu'il peut être exponentiellement moins efficace de représenter certaines fonctions par des réseaux à une seule couche cachée, comparé à des réseaux profonds (chapitre 4). Nos analyses permettent de mieux comprendre certains problèmes intrinsèques liés à ces algorithmes, et d'orienter la recherche dans des directions qui pourraient permettre de les résoudre. Nous identifions également des inefficacités computationnelles dans les algorithmes d'apprentissage semi-supervisé à base de graphe (chapitre 5), et dans l'apprentissage de mélanges de Gaussiennes en présence de valeurs manquantes (chapitre 6). Dans les deux cas, nous proposons de nouveaux algorithmes capables de traiter des ensembles de données significativement plus grands. Les deux derniers chapitres traitent de l'efficacité computationnelle sous un angle différent. Dans le chapitre 7, nous analysons de manière théorique un algorithme existant pour l'apprentissage efficace dans les machines de Boltzmann restreintes (la divergence contrastive), afin de mieux comprendre les raisons qui expliquent le succès de cet algorithme. Finalement, dans le chapitre 8 nous présentons une application de l'apprentissage machine dans le domaine des jeux vidéo, pour laquelle le problème de l'efficacité computationnelle est relié à des considérations d'ingénierie logicielle et matérielle, souvent ignorées en recherche mais ô combien importantes en pratique.

A Compiler for the dependently typed language Beluga

Les structures avec des lieurs sont très communes en informatique. Les langages de programmation et les systèmes logiques sont des exemples de structures avec des lieurs. La manipulation de lieurs est délicate, de sorte que l’écriture de programmes qui ma- nipulent ces structures tirerait profit d’un soutien spécifique pour les lieurs. L’environ- nement de programmation Beluga est un exemple d’un tel système. Nous développons et présentons ici un compilateur pour ce système. Parmi les programmes pour lesquels Beluga est spécialement bien adapté, plusieurs peuvent bénéficier d’un compilateur. Par exemple, les programmes pour valider les types (les "type-checkers"), les compilateurs et les interpréteurs tirent profit du soutien spécifique des lieurs et des types dépendants présents dans le langage. Ils nécessitent tous également une exécution efficace, que l’on propose d’obtenir par le biais d’un compilateur. Le but de ce travail est de présenter un nouveau compilateur pour Beluga, qui emploie une représentation interne polyvalente et permet de partager du code entre plusieurs back-ends. Une contribution notable est la compilation du filtrage de Beluga, qui est particulièrement puissante dans ce langage.

Le document technologique original dans le droit de la preuve au Québec

L’adoption de la Loi concernant le cadre juridique des technologies de l’information en 2001 a permis de mettre en place un cadre juridique favorisant l’intégration des technologies de l’information dans le droit. Plus particulièrement en droit de la preuve, cela a conféré au document technologique la qualité d’élément de preuve. Dans ce contexte il a été nécessaire d’adapter certains articles du Code civil du Québec et du même fait certaines règles dont la règle de la meilleure preuve, telle que prévue à l’article 2860 C.c.Q.. Cette règle s’appuyait jusqu’à présent sur la notion d’original, notion propre au support papier dont il a fallu trouver un équivalent pour le document technologique. C’est ce qu’a fait la Loi en prévoyant à son article 12 les caractéristiques de l’original technologique. Nous nous penchons sur cette notion en regardant quelles sont ses origines et ses justifications, puis nous avons analysé l’article 12 de la Loi qui traite de l’original sous forme technologique. Enfin nous nous sommes interrogé sur la place des reproductions dans le contexte technologique et nous avons vu que celles-ci ont pris de plus en plus d’importance à côté du document original, au fur et à mesure du perfectionnement des moyens de reproduction.

La représentation de la machine dans la trilogie d’anticipation scientifique d’Albert Robida : du texte à l’image et de l’image au texte

Cette thèse étudie la représentation de la machine chez Robida. La partie centrale de notre recherche s’intéresse à révéler ses significations et interroge sa mise en scène littéraire et visuelle dans chacun des romans de la trilogie d’anticipation scientifique la plus connue de l’auteur-illustrateur. La quête se transforme en un voyage continu entre le lisible et le visible, le dit et le non-dit, la description littéraire et l’imagination, la réalité et la fiction. Nous nous intéressons à l’évolution de la vision de Robida : dans Le Vingtième siècle, l’image de la machine bienfaisante, facilitant la vie de l’homme, économisant du temps et de l’argent, et contribuant largement à son bonheur et à son divertissement, à part quelques accidents très limités, se traduit par une complémentarité avantageuse entre le texte d’une part et les vignettes, les tableaux et les hors-textes se trouvant dans le récit, d’autre part. Celle-ci se transforme, dans La Guerre au vingtième siècle, en une inquiétude vis-à-vis de l’instrumentalisation de la machine pour la guerre, qui s’exprime par une projection de la narration vers l’illustration in-texte, et sensibilise le lecteur en montrant le caractère violent et offensif d’appareils uniquement nommés. Celle-ci devient finalement, dans La Vie électrique, synonyme d’un pessimisme total quant à l’implication de la machine dans la société et à la puissance du savoir scientifique dans l’avenir, qui s’affiche dans des hors-textes sombres et maussades. Dans ce cadre, la machine illustrée exige une lecture iconotextuelle, une importance accordée au détail, aux éléments présents ou absents, aux modalités de passage d’un mode de présentation à l’autre, à la place anticipée ou tardive de l’illustration, au rapport entre le texte, le dessin et sa légende, aux mots qui migrent vers le dessin et surtout au reste du décor incomplet. Chez Robida, les louanges qui passent à la critique et l’humour qui se fait cynisme, sont assez représentatifs des espoirs et des craintes suscités par la découverte et la mise en application de l’électricité, par ses vertus, mais aussi par son aspect incontrôlable.

Le dépôt électronique pour les cours au Canada (une idée qui arrive à point nommé) : une réponse à un document de travail publié par la Cour suprême du Canada recommandant des stratégies pour choisir un FSDE

"Ce texte se veut une réflexion sur les points à considérer avant l'adoption d'un système de dépôt électronique accessible à toutes les cours du Canada. En prenant pour exemple l'expérience torontoise, l'auteur souligne une série d'éléments à considérer avant la mise en œuvre d'un tel processus, à savoir : La nécessité de tenir compte des coûts associés à la formation des avocats, des juges, ainsi que du personnel juridique; L'attachement au document "" papier "" et le manque d'unanimité quant à la valeur du document électronique; et L'impact négatif que peut avoir l'informatisation des données sur la vie privée des contribuables. L'auteur conclu en ventant l'aspect centralisé du projet de dépôt électronique proposé par la Cour suprême en soulignant toutefois qu'un tel projet devra nécessairement évaluer les besoins des utilisateurs du système afin d'en tenir compte lors de sa conception."

Document de travail : Modèle de fournisseur de services de dépôt électronique

Ce texte se veut un document de présentation visant familiariser les différents auteurs ayant participé à l’étude « Étude de faisabilité : Modèle de fournisseur de services de dépôt électronique », commandée par le Bureau du Registraire de la Cour suprême du Canada en septembre 2002 avec la notion de dépôt électronique telle qu’envisagée par le gouvernement canadien. Il fait l’état d’un modèle conceptuel de marché de fournisseur de services de dépôt électronique (FSDE) normatif géré par le secteur privé afin de fournir des services de dépôt électronique sûrs et peu coûteux aux praticiens du droit au Canada. Ce modèle envisagé par les responsables du projet pourra, grâce à l’utilisation de la norme juridique XML Court Filing 1.0, fournir une plate-forme commune de dépôt électronique et de gestion des documents offrant une interface avec les systèmes de gestion des instances et de gestion des documents de chaque tribunal. Ces travaux ne constituent pas pour autant un endossement du modèle FSDE, mais plutôt un engagement d’étudier de façon complète et systématique une solution de rechange au dépôt électronique afin d’améliorer notre connaissance collective dans ce domaine.

A Document Browsing Tool Based on Book Indexes

This research project is a contribution to the global field of information retrieval, specifically, to develop tools to enable information access in digital documents. We recognize the need to provide the user with flexible access to the contents of large, potentially complex digital documents, with means other than a search function or a handful of metadata elements. The goal is to produce a text browsing tool offering a maximum of information based on a fairly superficial linguistic analysis. We are concerned with a type of extensive single-document indexing, and not indexing by a set of keywords (see Klement, 2002, for a clear distinction between the two). The desired browsing tool would not only give at a glance the main topics discussed in the document, but would also present relationships between these topics. It would also give direct access to the text (via hypertext links to specific passages). The present paper, after reviewing previous research on this and similar topics, discusses the methodology and the main characteristics of a prototype we have devised. Experimental results are presented, as well as an analysis of remaining hurdles and potential applications.

A layered JavaScript virtual machine supporting dynamic instrumentation

L’observation de l’exécution d’applications JavaScript est habituellement réalisée en instrumentant une machine virtuelle (MV) industrielle ou en effectuant une traduction source-à-source ad hoc et complexe. Ce mémoire présente une alternative basée sur la superposition de machines virtuelles. Notre approche consiste à faire une traduction source-à-source d’un programme pendant son exécution pour exposer ses opérations de bas niveau au travers d’un modèle objet flexible. Ces opérations de bas niveau peuvent ensuite être redéfinies pendant l’exécution pour pouvoir en faire l’observation. Pour limiter la pénalité en performance introduite, notre approche exploite les opérations rapides originales de la MV sous-jacente, lorsque cela est possible, et applique les techniques de compilation à-la-volée dans la MV superposée. Notre implémentation, Photon, est en moyenne 19% plus rapide qu’un interprète moderne, et entre 19× et 56× plus lente en moyenne que les compilateurs à-la-volée utilisés dans les navigateurs web populaires. Ce mémoire montre donc que la superposition de machines virtuelles est une technique alternative compétitive à la modification d’un interprète moderne pour JavaScript lorsqu’appliqué à l’observation à l’exécution des opérations sur les objets et des appels de fonction.

Un outil d’évaluation neurocognitive des interactions humain-machine

De plus en plus de recherches sur les Interactions Humain-Machine (IHM) tentent d’effectuer des analyses fines de l’interaction afin de faire ressortir ce qui influence les comportements des utilisateurs. Tant au niveau de l’évaluation de la performance que de l’expérience des utilisateurs, on note qu’une attention particulière est maintenant portée aux réactions émotionnelles et cognitives lors de l’interaction. Les approches qualitatives standards sont limitées, car elles se fondent sur l’observation et des entrevues après l’interaction, limitant ainsi la précision du diagnostic. L’expérience utilisateur et les réactions émotionnelles étant de nature hautement dynamique et contextualisée, les approches d’évaluation doivent l’être de même afin de permettre un diagnostic précis de l’interaction. Cette thèse présente une approche d’évaluation quantitative et dynamique qui permet de contextualiser les réactions des utilisateurs afin d’en identifier les antécédents dans l’interaction avec un système. Pour ce faire, ce travail s’articule autour de trois axes. 1) La reconnaissance automatique des buts et de la structure de tâches de l’utilisateur, à l’aide de mesures oculométriques et d’activité dans l’environnement par apprentissage machine. 2) L’inférence de construits psychologiques (activation, valence émotionnelle et charge cognitive) via l’analyse des signaux physiologiques. 3) Le diagnostic de l‘interaction reposant sur le couplage dynamique des deux précédentes opérations. Les idées et le développement de notre approche sont illustrés par leur application dans deux contextes expérimentaux : le commerce électronique et l’apprentissage par simulation. Nous présentons aussi l’outil informatique complet qui a été implémenté afin de permettre à des professionnels en évaluation (ex. : ergonomes, concepteurs de jeux, formateurs) d’utiliser l’approche proposée pour l’évaluation d’IHM. Celui-ci est conçu de manière à faciliter la triangulation des appareils de mesure impliqués dans ce travail et à s’intégrer aux méthodes classiques d’évaluation de l’interaction (ex. : questionnaires et codage des observations).

Figures of Time : Preemptive Narratives in Recent Television Series

Faute de droits d'auteurs pour les captures d'écrans, mon document ne contient pas d'images. Si vous voudriez consulter ma thèse avec les images, veuillez me contacter.

On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

From Word Embeddings to Large Vocabulary Neural Machine Translation

Dans ce mémoire, nous examinons certaines propriétés des représentations distribuées de mots et nous proposons une technique pour élargir le vocabulaire des systèmes de traduction automatique neurale. En premier lieu, nous considérons un problème de résolution d'analogies bien connu et examinons l'effet de poids adaptés à la position, le choix de la fonction de combinaison et l'impact de l'apprentissage supervisé. Nous enchaînons en montrant que des représentations distribuées simples basées sur la traduction peuvent atteindre ou dépasser l'état de l'art sur le test de détection de synonymes TOEFL et sur le récent étalon-or SimLex-999. Finalament, motivé par d'impressionnants résultats obtenus avec des représentations distribuées issues de systèmes de traduction neurale à petit vocabulaire (30 000 mots), nous présentons une approche compatible à l'utilisation de cartes graphiques pour augmenter la taille du vocabulaire par plus d'un ordre de magnitude. Bien qu'originalement développée seulement pour obtenir les représentations distribuées, nous montrons que cette technique fonctionne plutôt bien sur des tâches de traduction, en particulier de l'anglais vers le français (WMT'14).

Extensive characterization of Campylobacter jejuni chicken isolates to uncover genes involved in the ability to compete for gut colonization

Background: Campylobacter jejuni is responsible for human foodborne enteritis. This bacterium is a remarkable colonizer of the chicken gut, with some strains outcompeting others for colonization. To better understand this phenomenon, the objective of this study was to extensively characterize the phenotypic performance of C. jejuni chicken strains and associate their gut colonizing ability with specific genes. Results: C. jejuni isolates (n = 45) previously analyzed for the presence of chicken colonization associated genes were further characterized for phenotypic properties influencing colonization: autoagglutination and chemotaxis as well as adhesion to and invasion of primary chicken caecal cells. This allowed strains to be ranked according to their in vitro performance. After their in vitro capacity to outcompete was demonstrated in vivo, strains were then typed by comparative genomic fingerprinting (CGF). In vitro phenotypical properties displayed a linear variability among the tested strains. Strains possessing higher scores for phenotypical properties were able to outcompete others during chicken colonization trials. When the gene content of strains was compared, some were associated with different phenotypical scores and thus with different outcompeting capacities. Use of CGF profiles showed an extensive genetic variability among the studied strains and suggested that the outcompeting capacity is not predictable by CGF profile. Conclusion: This study revealed a wide array of phenotypes present in C. jejuni strains, even though they were all recovered from chicken caecum. Each strain was classified according to its in vitro competitive potential and its capacity to compete for chicken gut colonization was associated with specific genes. This study also exposed the disparity existing between genetic typing and phenotypical behavior of C. jejuni strains.