Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Configuration et exploitation d'une machine émotionnelle

Dans ce travail, nous explorons la faisabilité de doter les machines de la capacité de prédire, dans un contexte d'interaction homme-machine (IHM), l'émotion d'un utilisateur, ainsi que son intensité, de manière instantanée pour une grande variété de situations. Plus spécifiquement, une application a été développée, appelée machine émotionnelle, capable de «comprendre» la signification d'une situation en se basant sur le modèle théorique d'évaluation de l'émotion Ortony, Clore et Collins (OCC). Cette machine est apte, également, à prédire les réactions émotionnelles des utilisateurs, en combinant des versions améliorées des k plus proches voisins et des réseaux de neurones. Une procédure empirique a été réalisée pour l'acquisition des données. Ces dernières ont fourni une connaissance consistante aux algorithmes d'apprentissage choisis et ont permis de tester la performance de la machine. Les résultats obtenus montrent que la machine émotionnelle proposée est capable de produire de bonnes prédictions. Une telle réalisation pourrait encourager son utilisation future dans des domaines exploitant la reconnaissance automatique de l'émotion.

Génération et reconnaissance de rythmes au moyen de réseaux de neurones à réservoir

Les fichiers sons qui accompagne mon document sont au format midi. Le programme que nous avons développés pour ce travail est en language Python.

Supercomplexes multifonctionnels chez les mitochondries, et chez E. coli

Les processus mitochondriaux tels que la réplication et la traduction sont effectués par des complexes multiprotéiques. Par contre, le métabolisme et la voie de maturation des ARN mitochondriaux (p. ex précurseurs des ARNt et des ARNr) sont habituellement traités comme une suite de réactions catalysées par des protéines séparées. L’exécution fidèle et optimale de ces processus mitochondriaux, exige un couplage étroit nécessaire pour la canalisation des intermédiaires métaboliques. Or, les évidences en faveur de l'interconnexion postulée de ces processus cellulaires sont peu nombreuses et proviennent en grande partie des interactions protéine-protéine. Contrairement à la perception classique, nos résultats révèlent l’organisation des fonctions cellulaires telles que la transcription, la traduction, le métabolisme et la régulation en supercomplexes multifonctionnels stables, dans les mitochondries des champignons (ex Saccharomyces cerevisiae, Aspergillus nidulans et Neurospora crassa), des animaux (ex Bos taurus), des plantes (B. oleracea et Arabidopsis thaliana) et chez les bactéries (ex E. coli) à partir desquelles les mitochondries descendent. La composition de ces supercomplexes chez les champignons et les animaux est comparable à celle de levure, toutefois, chez les plantes et E. coli ils comportent des différences notables (ex, présence des enzymes spécifiques à la voie de biosynthèse des sucres et les léctines chez B. oleracea). Chez la levure, en accord avec les changements dûs à la répression catabolique du glucose, nos résultats révèlent que les supercomplexes sont dynamiques et que leur composition en protéines dépend des stimulis et de la régulation cellulaire. De plus, nous montrons que l’inactivation de la voie de biosynthèse des lipides de type II (FASII) perturbe l’assemblage et/ou la biogenèse du supercomplexe de la RNase P (responsable de la maturation en 5’ des précurseurs des ARNt), ce qui suggère que de multiples effets pléiotropiques peuvent être de nature structurale entre les protéines. Chez la levure et chez E. coli, nos études de la maturation in vitro des précurseurs des ARNt et de la protéomique révèlent l’association de la RNase P avec les enzymes de la maturation d’ARNt en 3’. En effet, la voie de maturation des pré-ARNt et des ARNr, et la dégradation des ARN mitochondriaux semblent êtres associées avec la machinerie de la traduction au sein d’un même supercomplexe multifonctionnel dans la mitochondrie de la levure. Chez E. coli, nous avons caractérisé un supercomplexe similaire qui inclut en plus de la RNase P: la PNPase, le complexe du RNA degradosome, l’ARN polymérase, quatre facteurs de transcription, neuf aminoacyl-tRNA synthétases, onze protéines ribosomiques, des chaperons et certaines protéines métaboliques. Ces résultats supposent l’association physique de la transcription, la voie de maturation et d’aminoacylation des ARNt, la dégradation des ARN. Le nombre de cas où les activités cellulaires sont fonctionnellement et structurellement associées est certainement à la hausse (ex, l’éditosome et le complexe de la glycolyse). En effet, l’organisation en supercomplexe multifonctionnel représente probablement l’unité fonctionnelle dans les cellules et les analyses de ces super-structures peuvent devenir la prochaine cible de la biologie structurale.

Espaces de timbre générés par des réseaux profonds convolutionnels

Il est avant-tout question, dans ce mémoire, de la modélisation du timbre grâce à des algorithmes d'apprentissage machine. Plus précisément, nous avons essayé de construire un espace de timbre en extrayant des caractéristiques du son à l'aide de machines de Boltzmann convolutionnelles profondes. Nous présentons d'abord un survol de l'apprentissage machine, avec emphase sur les machines de Boltzmann convolutionelles ainsi que les modèles dont elles sont dérivées. Nous présentons aussi un aperçu de la littérature concernant les espaces de timbre, et mettons en évidence quelque-unes de leurs limitations, dont le nombre limité de sons utilisés pour les construire. Pour pallier à ce problème, nous avons mis en place un outil nous permettant de générer des sons à volonté. Le système utilise à sa base des plug-ins qu'on peut combiner et dont on peut changer les paramètres pour créer une gamme virtuellement infinie de sons. Nous l'utilisons pour créer une gigantesque base de donnée de timbres générés aléatoirement constituée de vrais instruments et d'instruments synthétiques. Nous entrainons ensuite les machines de Boltzmann convolutionnelles profondes de façon non-supervisée sur ces timbres, et utilisons l'espace des caractéristiques produites comme espace de timbre. L'espace de timbre ainsi obtenu est meilleur qu'un espace semblable construit à l'aide de MFCC. Il est meilleur dans le sens où la distance entre deux timbres dans cet espace est plus semblable à celle perçue par un humain. Cependant, nous sommes encore loin d'atteindre les mêmes capacités qu'un humain. Nous proposons d'ailleurs quelques pistes d'amélioration pour s'en approcher.

La notion de désir dans la philosophie de Gilles Deleuze

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Apprentissage machine efficace : théorie et pratique

Malgré des progrès constants en termes de capacité de calcul, mémoire et quantité de données disponibles, les algorithmes d'apprentissage machine doivent se montrer efficaces dans l'utilisation de ces ressources. La minimisation des coûts est évidemment un facteur important, mais une autre motivation est la recherche de mécanismes d'apprentissage capables de reproduire le comportement d'êtres intelligents. Cette thèse aborde le problème de l'efficacité à travers plusieurs articles traitant d'algorithmes d'apprentissage variés : ce problème est vu non seulement du point de vue de l'efficacité computationnelle (temps de calcul et mémoire utilisés), mais aussi de celui de l'efficacité statistique (nombre d'exemples requis pour accomplir une tâche donnée). Une première contribution apportée par cette thèse est la mise en lumière d'inefficacités statistiques dans des algorithmes existants. Nous montrons ainsi que les arbres de décision généralisent mal pour certains types de tâches (chapitre 3), de même que les algorithmes classiques d'apprentissage semi-supervisé à base de graphe (chapitre 5), chacun étant affecté par une forme particulière de la malédiction de la dimensionalité. Pour une certaine classe de réseaux de neurones, appelés réseaux sommes-produits, nous montrons qu'il peut être exponentiellement moins efficace de représenter certaines fonctions par des réseaux à une seule couche cachée, comparé à des réseaux profonds (chapitre 4). Nos analyses permettent de mieux comprendre certains problèmes intrinsèques liés à ces algorithmes, et d'orienter la recherche dans des directions qui pourraient permettre de les résoudre. Nous identifions également des inefficacités computationnelles dans les algorithmes d'apprentissage semi-supervisé à base de graphe (chapitre 5), et dans l'apprentissage de mélanges de Gaussiennes en présence de valeurs manquantes (chapitre 6). Dans les deux cas, nous proposons de nouveaux algorithmes capables de traiter des ensembles de données significativement plus grands. Les deux derniers chapitres traitent de l'efficacité computationnelle sous un angle différent. Dans le chapitre 7, nous analysons de manière théorique un algorithme existant pour l'apprentissage efficace dans les machines de Boltzmann restreintes (la divergence contrastive), afin de mieux comprendre les raisons qui expliquent le succès de cet algorithme. Finalement, dans le chapitre 8 nous présentons une application de l'apprentissage machine dans le domaine des jeux vidéo, pour laquelle le problème de l'efficacité computationnelle est relié à des considérations d'ingénierie logicielle et matérielle, souvent ignorées en recherche mais ô combien importantes en pratique.

Les casual games : définition à l’aide du savoir professionnel des designers de jeux

Le jeu casual est un phénomène majeur de l’industrie vidéoludique, pourtant il reste peu étudié et mal considéré. Les quelques définitions scientifiques recensées présentent des divergences importantes, ainsi qu’un décalage par rapport aux jeux produits. Les modèles théoriques en design de jeu, centrés sur le gameplay, semblent inadéquats face à ce phénomène. En utilisant le modèle du praticien réflexif de Donald Schön, l’objectif de notre recherche est d’apporter un nouvel éclairage sur le jeu casual grâce au savoir professionnel des designers de jeux. Notre approche est qualitative, d’inspiration phénoménologique : nous avons recueilli l’expérience de huit designers de jeux par l’intermédiaire d’entretiens semi-dirigés proches du récit de pratique. Nos résultats montrent que les concepts utilisés dans les modèles vidéoludiques traditionnels restent pertinents pour définir le jeu casual, mais demandent à être retravaillés afin de rendre compte des mutations de l’expérience de jeu. Ainsi, un challenge dans un jeu casual n’est pas un obstacle mais une opportunité d’action pour le joueur. De plus, la progression se fait par la variation des challenges plutôt que par l’augmentation de la difficulté. Ensuite, certains concepts qui semblaient pertinents pour définir les jeux casual, tels que la fiction positive, ont été rejetés par nos participants. Enfin, notre étude a permis de rassembler des informations sur le rôle du designer de jeu casual et le contexte dans lequel il exerce, ce qui permet d’expliquer certaines causes de la vision péjorative du jeu casual.

De l’immersion à l’engagement, la perspective des concepteurs de jeux vidéo sur l’expérience de jeu

De nos jours, la notion d’immersion est largement utilisée, voire galvaudée, par l’industrie du jeu vidéo pour décrire les nouvelles expériences de jeu vécues par les joueurs, notamment lorsqu’ils utilisent des contrôleurs de mouvement. Il est donc intéressant de comprendre comment cette notion s’insère dans le processus de conception des jeux vidéo et comment les concepteurs de jeux vidéo mobilisent cette notion. Pour essayer de comprendre comment les concepteurs de jeux vidéo conçoivent leurs expériences de jeu dans ce contexte, nous avons réalisé une série de cinq entrevues avec des concepteurs de la région montréalaise. Nous avons porté une attention particulière à recueillir le discours de concepteurs indépendants et de concepteurs œuvrant dans de grands studios afin d’obtenir une diversité dans le type d’approches. Nous avons relevé que les concepteurs de jeux vidéo sont loin de partager la même définition de la notion d’immersion. Qui plus est, cette notion n’est souvent pas directement mobilisée par les concepteurs. En effet, les résultats de notre recherche ont démontré que les concepteurs recherchent plutôt à intéresser les joueurs par des stratégies d’engagements plutôt que de les « immerger ». Selon nos concepteurs, un joueur engagé signifie qu’il éprouve un plaisir sincère dans l’acte même de jouer.

Impacts and Detection of Design Smells

Les changements sont faits de façon continue dans le code source des logiciels pour prendre en compte les besoins des clients et corriger les fautes. Les changements continus peuvent conduire aux défauts de code et de conception. Les défauts de conception sont des mauvaises solutions à des problèmes récurrents de conception ou d’implémentation, généralement dans le développement orienté objet. Au cours des activités de compréhension et de changement et en raison du temps d’accès au marché, du manque de compréhension, et de leur expérience, les développeurs ne peuvent pas toujours suivre les normes de conception et les techniques de codage comme les patrons de conception. Par conséquent, ils introduisent des défauts de conception dans leurs systèmes. Dans la littérature, plusieurs auteurs ont fait valoir que les défauts de conception rendent les systèmes orientés objet plus difficile à comprendre, plus sujets aux fautes, et plus difficiles à changer que les systèmes sans les défauts de conception. Pourtant, seulement quelques-uns de ces auteurs ont fait une étude empirique sur l’impact des défauts de conception sur la compréhension et aucun d’entre eux n’a étudié l’impact des défauts de conception sur l’effort des développeurs pour corriger les fautes. Dans cette thèse, nous proposons trois principales contributions. La première contribution est une étude empirique pour apporter des preuves de l’impact des défauts de conception sur la compréhension et le changement. Nous concevons et effectuons deux expériences avec 59 sujets, afin d’évaluer l’impact de la composition de deux occurrences de Blob ou deux occurrences de spaghetti code sur la performance des développeurs effectuant des tâches de compréhension et de changement. Nous mesurons la performance des développeurs en utilisant: (1) l’indice de charge de travail de la NASA pour leurs efforts, (2) le temps qu’ils ont passé dans l’accomplissement de leurs tâches, et (3) les pourcentages de bonnes réponses. Les résultats des deux expériences ont montré que deux occurrences de Blob ou de spaghetti code sont un obstacle significatif pour la performance des développeurs lors de tâches de compréhension et de changement. Les résultats obtenus justifient les recherches antérieures sur la spécification et la détection des défauts de conception. Les équipes de développement de logiciels doivent mettre en garde les développeurs contre le nombre élevé d’occurrences de défauts de conception et recommander des refactorisations à chaque étape du processus de développement pour supprimer ces défauts de conception quand c’est possible. Dans la deuxième contribution, nous étudions la relation entre les défauts de conception et les fautes. Nous étudions l’impact de la présence des défauts de conception sur l’effort nécessaire pour corriger les fautes. Nous mesurons l’effort pour corriger les fautes à l’aide de trois indicateurs: (1) la durée de la période de correction, (2) le nombre de champs et méthodes touchés par la correction des fautes et (3) l’entropie des corrections de fautes dans le code-source. Nous menons une étude empirique avec 12 défauts de conception détectés dans 54 versions de quatre systèmes: ArgoUML, Eclipse, Mylyn, et Rhino. Nos résultats ont montré que la durée de la période de correction est plus longue pour les fautes impliquant des classes avec des défauts de conception. En outre, la correction des fautes dans les classes avec des défauts de conception fait changer plus de fichiers, plus les champs et des méthodes. Nous avons également observé que, après la correction d’une faute, le nombre d’occurrences de défauts de conception dans les classes impliquées dans la correction de la faute diminue. Comprendre l’impact des défauts de conception sur l’effort des développeurs pour corriger les fautes est important afin d’aider les équipes de développement pour mieux évaluer et prévoir l’impact de leurs décisions de conception et donc canaliser leurs efforts pour améliorer la qualité de leurs systèmes. Les équipes de développement doivent contrôler et supprimer les défauts de conception de leurs systèmes car ils sont susceptibles d’augmenter les efforts de changement. La troisième contribution concerne la détection des défauts de conception. Pendant les activités de maintenance, il est important de disposer d’un outil capable de détecter les défauts de conception de façon incrémentale et itérative. Ce processus de détection incrémentale et itérative pourrait réduire les coûts, les efforts et les ressources en permettant aux praticiens d’identifier et de prendre en compte les occurrences de défauts de conception comme ils les trouvent lors de la compréhension et des changements. Les chercheurs ont proposé des approches pour détecter les occurrences de défauts de conception, mais ces approches ont actuellement quatre limites: (1) elles nécessitent une connaissance approfondie des défauts de conception, (2) elles ont une précision et un rappel limités, (3) elles ne sont pas itératives et incrémentales et (4) elles ne peuvent pas être appliquées sur des sous-ensembles de systèmes. Pour surmonter ces limitations, nous introduisons SMURF, une nouvelle approche pour détecter les défauts de conception, basé sur une technique d’apprentissage automatique — machines à vecteur de support — et prenant en compte les retours des praticiens. Grâce à une étude empirique portant sur trois systèmes et quatre défauts de conception, nous avons montré que la précision et le rappel de SMURF sont supérieurs à ceux de DETEX et BDTEX lors de la détection des occurrences de défauts de conception. Nous avons également montré que SMURF peut être appliqué à la fois dans les configurations intra-système et inter-système. Enfin, nous avons montré que la précision et le rappel de SMURF sont améliorés quand on prend en compte les retours des praticiens.

La représentation de la machine dans la trilogie d’anticipation scientifique d’Albert Robida : du texte à l’image et de l’image au texte

Cette thèse étudie la représentation de la machine chez Robida. La partie centrale de notre recherche s’intéresse à révéler ses significations et interroge sa mise en scène littéraire et visuelle dans chacun des romans de la trilogie d’anticipation scientifique la plus connue de l’auteur-illustrateur. La quête se transforme en un voyage continu entre le lisible et le visible, le dit et le non-dit, la description littéraire et l’imagination, la réalité et la fiction. Nous nous intéressons à l’évolution de la vision de Robida : dans Le Vingtième siècle, l’image de la machine bienfaisante, facilitant la vie de l’homme, économisant du temps et de l’argent, et contribuant largement à son bonheur et à son divertissement, à part quelques accidents très limités, se traduit par une complémentarité avantageuse entre le texte d’une part et les vignettes, les tableaux et les hors-textes se trouvant dans le récit, d’autre part. Celle-ci se transforme, dans La Guerre au vingtième siècle, en une inquiétude vis-à-vis de l’instrumentalisation de la machine pour la guerre, qui s’exprime par une projection de la narration vers l’illustration in-texte, et sensibilise le lecteur en montrant le caractère violent et offensif d’appareils uniquement nommés. Celle-ci devient finalement, dans La Vie électrique, synonyme d’un pessimisme total quant à l’implication de la machine dans la société et à la puissance du savoir scientifique dans l’avenir, qui s’affiche dans des hors-textes sombres et maussades. Dans ce cadre, la machine illustrée exige une lecture iconotextuelle, une importance accordée au détail, aux éléments présents ou absents, aux modalités de passage d’un mode de présentation à l’autre, à la place anticipée ou tardive de l’illustration, au rapport entre le texte, le dessin et sa légende, aux mots qui migrent vers le dessin et surtout au reste du décor incomplet. Chez Robida, les louanges qui passent à la critique et l’humour qui se fait cynisme, sont assez représentatifs des espoirs et des craintes suscités par la découverte et la mise en application de l’électricité, par ses vertus, mais aussi par son aspect incontrôlable.

The reform of electronic consumer contracts in Europe: towards an effective legal framework?

Christine Riefa is a lecturer in Consumer Law and Intellectual Property Law at Brunel University in the UK. She is an elected board member of the International Association of Consumer Law and an academic correspondent to the Euro-American Chair for the legal protection of consumers (University of Cantabria, Spain). In 2009-2010, Dr Riefa is a Fulbright EU Scholar-in-Residence at Cleveland-Marshall College of Law, Ohio USA. A first version of this article was presented at the Summer School in Consumer Law, organised by the GREDICC (Groupe de recherche en droit international et comparé de la consummation), UQAM, Montréal, 29th June – 4th July 2009.

La résolution du problème de formation de cellules dans un contexte multicritère

Les techniques de groupement technologique sont aujourd’hui utilisées dans de nombreux ateliers de fabrication; elles consistent à décomposer les systèmes industriels en sous-systèmes ou cellules constitués de pièces et de machines. Trouver le groupement technologique le plus efficace est formulé en recherche opérationnelle comme un problème de formation de cellules. La résolution de ce problème permet de tirer plusieurs avantages tels que la réduction des stocks et la simplification de la programmation. Plusieurs critères peuvent être définis au niveau des contraintes du problème tel que le flot intercellulaire,l’équilibrage de charges intracellulaires, les coûts de sous-traitance, les coûts de duplication des machines, etc. Le problème de formation de cellules est un problème d'optimisation NP-difficile. Par conséquent les méthodes exactes ne peuvent être utilisées pour résoudre des problèmes de grande dimension dans un délai raisonnable. Par contre des méthodes heuristiques peuvent générer des solutions de qualité inférieure, mais dans un temps d’exécution raisonnable. Dans ce mémoire, nous considérons ce problème dans un contexte bi-objectif spécifié en termes d’un facteur d’autonomie et de l’équilibre de charge entre les cellules. Nous présentons trois types de méthodes métaheuristiques pour sa résolution et nous comparons numériquement ces métaheuristiques. De plus, pour des problèmes de petite dimension qui peuvent être résolus de façon exacte avec CPLEX, nous vérifions que ces métaheuristiques génèrent des solutions optimales.

The potential utility of age, triage score, and disposition data contained in emergency department electronic records for influenza-like illness surveillance in Montreal

La surveillance de l’influenza s’appuie sur un large spectre de données, dont les données de surveillance syndromique provenant des salles d’urgences. De plus en plus de variables sont enregistrées dans les dossiers électroniques des urgences et mises à la disposition des équipes de surveillance. L’objectif principal de ce mémoire est d’évaluer l’utilité potentielle de l’âge, de la catégorie de triage et de l’orientation au départ de l’urgence pour améliorer la surveillance de la morbidité liée aux cas sévères d’influenza. Les données d’un sous-ensemble des hôpitaux de Montréal ont été utilisées, d’avril 2006 à janvier 2011. Les hospitalisations avec diagnostic de pneumonie ou influenza ont été utilisées comme mesure de la morbidité liée aux cas sévères d’influenza, et ont été modélisées par régression binomiale négative, en tenant compte des tendances séculaires et saisonnières. En comparaison avec les visites avec syndrome d’allure grippale (SAG) totales, les visites avec SAG stratifiées par âge, par catégorie de triage et par orientation de départ ont amélioré le modèle prédictif des hospitalisations avec pneumonie ou influenza. Avant d’intégrer ces variables dans le système de surveillance de Montréal, des étapes additionnelles sont suggérées, incluant l’optimisation de la définition du syndrome d’allure grippale à utiliser, la confirmation de la valeur de ces prédicteurs avec de nouvelles données et l’évaluation de leur utilité pratique.