Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Non-negative matrix decomposition approaches to frequency domain analysis of music audio signals

On étudie l’application des algorithmes de décomposition matricielles tel que la Factorisation Matricielle Non-négative (FMN), aux représentations fréquentielles de signaux audio musicaux. Ces algorithmes, dirigés par une fonction d’erreur de reconstruction, apprennent un ensemble de fonctions de base et un ensemble de coef- ficients correspondants qui approximent le signal d’entrée. On compare l’utilisation de trois fonctions d’erreur de reconstruction quand la FMN est appliquée à des gammes monophoniques et harmonisées: moindre carré, divergence Kullback-Leibler, et une mesure de divergence dépendente de la phase, introduite récemment. Des nouvelles méthodes pour interpréter les décompositions résultantes sont présentées et sont comparées aux méthodes utilisées précédemment qui nécessitent des connaissances du domaine acoustique. Finalement, on analyse la capacité de généralisation des fonctions de bases apprises par rapport à trois paramètres musicaux: l’amplitude, la durée et le type d’instrument. Pour ce faire, on introduit deux algorithmes d’étiquetage des fonctions de bases qui performent mieux que l’approche précédente dans la majorité de nos tests, la tâche d’instrument avec audio monophonique étant la seule exception importante.

Les multiples trajectoires d’activité physique supervisée et non supervisée chez les enfants du primaire au Québec : un modèle écologique

Contexte : L’activité physique est une composante centrale du développement physique, psychologique et social de l'enfant, particulièrement au sein d'une société où l'impact de la sédentarité et de l'obésité devient de plus en plus important. Cependant, les trajectoires d’activité physique hors école et leurs déterminants sont peu étudiés et les connaissances sur ce sujet sont limitées. Il est également notoire que les types d’activité physique sont rarement pris en considération. Objectif : Ce mémoire a pour but (a) de déterminer les trajectoires de pratique d’activité physique au cours du développement des enfants (b) de valider l’association entre l’activité physique supervisée et l’activité non supervisée et (c) d’identifier les déterminants au niveau du quartier, de la famille et des caractéristiques individuelles associés aux trajectoires de pratique d’activité physique supervisée et non supervisée. Participants : 1 814 enfants (51% garçons) nés en 1998 ayant participé à l’Étude Longitudinale du Développement des Enfants du Québec (ELDEQ). Les données récoltées proviennent uniquement de leur mère. Mesures : La fréquence de l’activité physique supervisée et non supervisée a été mesurée à quatre reprises alors que les enfants étaient âgés entre 5 et 8 ans. Les déterminants ainsi que les variables contrôles ont été mesurés alors que les enfants avaient 4 ou 5 ans. Résultats : Trois trajectoires d’activité physique supervisée et non supervisée ont été identifiées. Les résultats suggèrent que les trajectoires d’activité physique supervisée, représentant respectivement 10%, 55.3% et 34.7% de la population, sont relativement stables même si elles subissent une légère augmentation avec le temps. Des trois trajectoires d’activité physique non supervisée représentant respectivement 14.1%, 28.1% et 57.8% de la population, une augmente considérablement avec le temps alors iv que les deux autres sont stables. Ces deux séries de trajectoires ne sont pas associées significativement entre elles. L’éducation de la mère, l’entraide dans le quartier de résidence ainsi que la prosocialité des enfants déterminent les deux types d’activité physique. La suffisance de revenu et la pratique sportive de la mère sont associées seulement aux trajectoires d’activité physique supervisée. La famille intacte discrimine l’appartenance aux trajectoires d’activité physique non supervisée. Conclusion : Premièrement, la pratique de l’activité physique est relativement stable entre 5 et 8 ans. Deuxièmement, l’activité physique supervisée ainsi que l’activité physique non supervisée sont deux pratiques qui se développent différemment et qui possèdent leurs propres déterminants. Troisièmement, une approche écologique permet de mieux saisir la complexité de ces deux processus.

Apprentissage de représentations sur-complètes par entraînement d’auto-encodeurs

Les avancés dans le domaine de l’intelligence artificielle, permettent à des systèmes informatiques de résoudre des tâches de plus en plus complexes liées par exemple à la vision, à la compréhension de signaux sonores ou au traitement de la langue. Parmi les modèles existants, on retrouve les Réseaux de Neurones Artificiels (RNA), dont la popularité a fait un grand bond en avant avec la découverte de Hinton et al. [22], soit l’utilisation de Machines de Boltzmann Restreintes (RBM) pour un pré-entraînement non-supervisé couche après couche, facilitant grandement l’entraînement supervisé du réseau à plusieurs couches cachées (DBN), entraînement qui s’avérait jusqu’alors très difficile à réussir. Depuis cette découverte, des chercheurs ont étudié l’efficacité de nouvelles stratégies de pré-entraînement, telles que l’empilement d’auto-encodeurs traditionnels(SAE) [5, 38], et l’empilement d’auto-encodeur débruiteur (SDAE) [44]. C’est dans ce contexte qu’a débuté la présente étude. Après un bref passage en revue des notions de base du domaine de l’apprentissage machine et des méthodes de pré-entraînement employées jusqu’à présent avec les modules RBM, AE et DAE, nous avons approfondi notre compréhension du pré-entraînement de type SDAE, exploré ses différentes propriétés et étudié des variantes de SDAE comme stratégie d’initialisation d’architecture profonde. Nous avons ainsi pu, entre autres choses, mettre en lumière l’influence du niveau de bruit, du nombre de couches et du nombre d’unités cachées sur l’erreur de généralisation du SDAE. Nous avons constaté une amélioration de la performance sur la tâche supervisée avec l’utilisation des bruits poivre et sel (PS) et gaussien (GS), bruits s’avérant mieux justifiés que celui utilisé jusqu’à présent, soit le masque à zéro (MN). De plus, nous avons démontré que la performance profitait d’une emphase imposée sur la reconstruction des données corrompues durant l’entraînement des différents DAE. Nos travaux ont aussi permis de révéler que le DAE était en mesure d’apprendre, sur des images naturelles, des filtres semblables à ceux retrouvés dans les cellules V1 du cortex visuel, soit des filtres détecteurs de bordures. Nous aurons par ailleurs pu montrer que les représentations apprises du SDAE, composées des caractéristiques ainsi extraites, s’avéraient fort utiles à l’apprentissage d’une machine à vecteurs de support (SVM) linéaire ou à noyau gaussien, améliorant grandement sa performance de généralisation. Aussi, nous aurons observé que similairement au DBN, et contrairement au SAE, le SDAE possédait une bonne capacité en tant que modèle générateur. Nous avons également ouvert la porte à de nouvelles stratégies de pré-entraînement et découvert le potentiel de l’une d’entre elles, soit l’empilement d’auto-encodeurs rebruiteurs (SRAE).

Condition physique, performance motrice, comportements et fonctions cognitives chez les enfants ayant un trouble du déficit de l’attention avec hyperactivité

Cette thèse poursuit un double objectif. D’une part, mesurer et situer le niveau de la condition physique, de la performance motrice et de la participation aux activités physiques chez des enfants ayant un TDAH. D’autre part, apprécier l’impact d’un programme structuré en activité physique sur la condition physique, la performance motrice, certains comportements cibles ainsi que sur les fonctions cognitives propres à ces enfants. Pour vérifier l’atteinte de ces objectifs, trois études expérimentales ont été complétées et ont fait l’objet d’articles soumis pour publications. Dans le premier article, on évalue la condition physique et la performance motrice chez des enfants ayant un TDAH prenant ou non de la médication. Les résultats obtenus démontrent que la condition physique, comprenant ici des variables reliées à la composition corporelle, l’endurance musculaire et la flexibilité de ces enfants, ne diffèrent pas de celle des membres d’un groupe témoin. Seul l’indice de masse corporelle est significativement moins élevé chez les enfants ayant un TDAH prenant de la médication. Aucune différence n’est observée entre les groupes en ce qui a trait à la capacité aérobie telle que mesurée lors d’une épreuve de tapis roulant. Par contre, lorsqu’évaluée à partir d’un test navette, la performance aérobie de tous les participants est significativement moins élevée, d’où l’importance du choix de l’instrument de mesure. Finalement, les enfants ayant un TDAH ont significativement plus de problèmes de motricité globale que les enfants du groupe témoin. Ces difficultés sont particulièrement importantes pour la locomotion. Dans le cadre d’un programme d’activités physiques structurées et supervisées, le deuxième article porte, d’une part, sur l’évaluation de l’intensité de la participation aux exercices proposés chez des enfants ayant un TDAH. D’autre part, l’impact potentiel de facteurs comme les problèmes de poids et la présence de difficultés motrices sont également pris en considération. Les résultats obtenus suggèrent que ces enfants atteignent une intensité et une durée d’exercice qui ne diffèrent pas de celles des enfants du groupe témoin. Quant aux enfants qui ont un problème de poids ou des difficultés motrices, l’intensité et la durée de leur participation ne diffèrent pas de celles des participants témoins. Sur la base des données obtenues, les enfants ayant un TDAH peuvent parvenir à un degré de participation aux exercices qui permet de bénéficier des bienfaits de la pratique d’activités physiques. Le troisième article traite de l’impact potentiel d’un programme d’activités physiques sur la condition physique, la performance motrice, certains comportements ainsi que sur les fonctions cognitives des enfants ayant un TDAH. Sur la base des résultats obtenus, il est possible de faire valoir que la participation à un tel programme permet d’améliorer les capacités musculaires, les habiletés motrices, certains comportements observés par les parents et les enseignants ainsi que la capacité d’attention. Cela pourrait produire un impact significatif dans l’adaptation fonctionnelle de ces jeunes. Ces résultats soulignent le besoin de continuer la recherche dans les domaines de l’activité physique et du TDAH. La discussion générale présente les liens existants entre les manuscrits en fonction du modèle de l’engagement dans les activités physiques. Le déficit de la motricité globale ainsi que l’impact clinique potentiel de l’activité physique dans le traitement du TDAH sont les deux axes de recherche qui semblent le plus propices à des travaux futurs.

Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Annotation syntaxico-sémantique des actants en corpus spécialisé

L’annotation en rôles sémantiques est une tâche qui permet d’attribuer des étiquettes de rôles telles que Agent, Patient, Instrument, Lieu, Destination etc. aux différents participants actants ou circonstants (arguments ou adjoints) d’une lexie prédicative. Cette tâche nécessite des ressources lexicales riches ou des corpus importants contenant des phrases annotées manuellement par des linguistes sur lesquels peuvent s’appuyer certaines approches d’automatisation (statistiques ou apprentissage machine). Les travaux antérieurs dans ce domaine ont porté essentiellement sur la langue anglaise qui dispose de ressources riches, telles que PropBank, VerbNet et FrameNet, qui ont servi à alimenter les systèmes d’annotation automatisés. L’annotation dans d’autres langues, pour lesquelles on ne dispose pas d’un corpus annoté manuellement, repose souvent sur le FrameNet anglais. Une ressource telle que FrameNet de l’anglais est plus que nécessaire pour les systèmes d’annotation automatisé et l’annotation manuelle de milliers de phrases par des linguistes est une tâche fastidieuse et exigeante en temps. Nous avons proposé dans cette thèse un système automatique pour aider les linguistes dans cette tâche qui pourraient alors se limiter à la validation des annotations proposées par le système. Dans notre travail, nous ne considérons que les verbes qui sont plus susceptibles que les noms d’être accompagnés par des actants réalisés dans les phrases. Ces verbes concernent les termes de spécialité d’informatique et d’Internet (ex. accéder, configurer, naviguer, télécharger) dont la structure actancielle est enrichie manuellement par des rôles sémantiques. La structure actancielle des lexies verbales est décrite selon les principes de la Lexicologie Explicative et Combinatoire, LEC de Mel’čuk et fait appel partiellement (en ce qui concerne les rôles sémantiques) à la notion de Frame Element tel que décrit dans la théorie Frame Semantics (FS) de Fillmore. Ces deux théories ont ceci de commun qu’elles mènent toutes les deux à la construction de dictionnaires différents de ceux issus des approches traditionnelles. Les lexies verbales d’informatique et d’Internet qui ont été annotées manuellement dans plusieurs contextes constituent notre corpus spécialisé. Notre système qui attribue automatiquement des rôles sémantiques aux actants est basé sur des règles ou classificateurs entraînés sur plus de 2300 contextes. Nous sommes limités à une liste de rôles restreinte car certains rôles dans notre corpus n’ont pas assez d’exemples annotés manuellement. Dans notre système, nous n’avons traité que les rôles Patient, Agent et Destination dont le nombre d’exemple est supérieur à 300. Nous avons crée une classe que nous avons nommé Autre où nous avons rassemblé les autres rôles dont le nombre d’exemples annotés est inférieur à 100. Nous avons subdivisé la tâche d’annotation en sous-tâches : identifier les participants actants et circonstants et attribuer des rôles sémantiques uniquement aux actants qui contribuent au sens de la lexie verbale. Nous avons soumis les phrases de notre corpus à l’analyseur syntaxique Syntex afin d’extraire les informations syntaxiques qui décrivent les différents participants d’une lexie verbale dans une phrase. Ces informations ont servi de traits (features) dans notre modèle d’apprentissage. Nous avons proposé deux techniques pour l’identification des participants : une technique à base de règles où nous avons extrait une trentaine de règles et une autre technique basée sur l’apprentissage machine. Ces mêmes techniques ont été utilisées pour la tâche de distinguer les actants des circonstants. Nous avons proposé pour la tâche d’attribuer des rôles sémantiques aux actants, une méthode de partitionnement (clustering) semi supervisé des instances que nous avons comparée à la méthode de classification de rôles sémantiques. Nous avons utilisé CHAMÉLÉON, un algorithme hiérarchique ascendant.

Efficacité de deux méthodes d’enseignement d’hygiène orale chez les enfants atteints de cardiopathies

Le brossage des dents, la mastication des aliments et toutes autres activités orales quotidiennes peuvent provoquer une bactériémie transitoire. Cette bactériémie transitoire a le potentiel de causer une endocardite infectieuse en présence de certains facteurs de risque. Les cardiopathies congénitales chez les enfants font partie de ces facteurs de risque. Le contrôle de la plaque dentaire et une bonne santé buccodentaire permettent de réduire le risque d’endocardite infectieuse. Les objectifs du présent projet de recherche visent à évaluer les connaissances des parents d’enfants atteints de cardiopathies congénitales sur l’endocardite infectieuse et son lien avec la santé buccodentaire et de connaître les habitudes d’hygiène orale personnelles et professionnelles adoptées par les enfants atteints de cardiopathies congénitales. Le projet de recherche vise également à évaluer l’efficacité de deux méthodes d’enseignement d’hygiène orale chez les enfants atteints de cardiopathies congénitales. La procédure expérimentale implique que tous les parents ou gardiens légaux d’enfants atteints de cardiopathies congénitales, âgés entre 6 et 12 ans qui visitent le service de cardiologie du CHU Sainte-Justine sont sollicités à participer au projet de recherche. Un formulaire d’information et de consentement ainsi qu’un questionnaire sont remis aux parents. Le questionnaire vise à évaluer la connaissance des parents d’enfants atteints de cardiopathies congénitales sur ce qu’est l’endocardite infectieuse et son lien avec la santé buccodentaire ainsi que de connaître les habitudes d’hygiène orale personnelles et professionnelles des enfants atteints de cardiopathies congénitales. L’examen clinique nécessaire au projet de recherche implique le prélèvement d’un indice de plaque Quigley & Hein, Turesky modifié avant et après que l’enfant participant au projet de recherche ait appliqué les instructions d’hygiène orale reçues. L’enfant est assigné à l’une des deux méthodes d’instructions d’hygiène orale avec l’aide d’une table de randomisation. La méthode d’instructions d’hygiène orale du groupe 1 correspond à des instructions transmises par le cardiologue tandis que la méthode d’instructions d’hygiène orale du groupe 2 correspond aux instructions transmises par l’intermédiaire d’un document audio visuel. Des analyses chi-carré et des tests de T pairé ainsi que des analyses de variance univariée (one-way ANOVA) et des analyses de corrélation de Pearson entre le questionnaire et les données cliniques ont été effectuées pour analyser les données recueillies. Les résultats démontrent que les parents d’enfants « à risque élevé » d’effet adverse d’une endocardite infectieuse ne connaissent pas davantage le risque d’endocardite infectieuse d’origine buccodentaire que les parents d’enfants « de moindre risque » (p=0,104). Les résultats démontrent toutefois que les parents d’enfants atteints de cardiopathies congénitales qui connaissent le risque d’endocardite infectieuse et son lien avec la santé buccodentaire adhèrent à des comportements dans le but de maintenir une bonne santé buccodentaire chez leur enfant. Les résultats qui proviennent de l’examen clinique démontrent que l’application des instructions d’hygiène orale faites par le cardiologue et par l’intermédiaire d’un document audio visuel permettent d’observer une différence statistiquement significative (p=0,000) au niveau du contrôle de la plaque dans chacun de ces groupes. Toutefois, aucune différence statistiquement significative (p=0,668) n’a pu être démontrée entre les deux méthodes d’instructions d’hygiène orale. Les parents qui connaissent le lien entre la santé buccodentaire et le risque d’endocardite infectieuse pour leur enfant atteint de cardiopathie congénitale adoptent un comportement pour optimiser la santé buccodentaire de leur enfant. Les instructions d’hygiène orale par l’intermédiaire d’un document audio visuel sont équivalentes aux instructions d’hygiène orale prodiguées par le cardiologue.

Stomatite prothétique, candidose orale et leur évolution dans le temps

Objectifs: Observer l’évolution de la stomatite prothétique dans le temps quant à la fréquence et la sévérité ainsi que son association avec de potentiels facteurs de risque au cours d’un suivi longitudinal de 2 ans. Matériels et méthodes : Cent trente-cinq patients âgés complètement édentés et en bonne santé ont été sélectionnés pour participer à cette étude et ont été divisés de façon randomisée en deux groupes. Ils ont tous reçu une prothèse dentaire amovible totale conventionnelle au maxillaire supérieur. La moitié d’entre eux a reçu une prothèse totale mandibulaire implanto-portée retenue par deux attachements boule et l’autre moitié une prothèse conventionnelle. Ils ont été suivis sur une période de deux ans. Les données sociodémographiques, d’habitudes de vie, d’hygiène et de satisfaction des prothèses ont été amassées à l’aide de questionnaires. Les patients ont aussi subi un examen oral complet lors duquel une évaluation de la stomatite prothétique, basée sur la classification de Newton, a été effectuée ainsi qu’un prélèvement de la plaque prothétique. Les analyses microbiologiques pertinentes afin de détecter la présence de Candida ont ensuite été effectuées. Des tests Chi-carré de Pearson et McNemar ont été utilisés pour analyser la fréquence de la stomatite, son association avec de possibles facteurs de risque ainsi que son évolution dans le temps. Des rapports de cotes (odds ratio) et leurs intervalles de confiance (95%) ont été effectués afin de déterminer la force d’association entre les facteurs de risque et la stomatite prothétique. Résultats : La prévalence de la stomatite a augmenté entre la première (63,6%) et la deuxième année de suivi (88,7%) avec une incidence de 78,8%. Les patients souffrant d’une stomatite de type 2 ou 3 et qui brossent leur palais ont environ 6 fois plus de chance de voir la sévérité de leur stomatite diminuer [p = 0,04 OR 5,88 CI (1,1-32,2)]. Il n’y a pas d’association statistiquement significative entre la fréquence de la stomatite et les facteurs de risque investigués. La prévalence de la candidose est demeurée stable dans le temps (45,8% et 49,2% à la première et deuxième année de suivi respectivement, p > 0,05). Il n’y a pas d’association entre la présence d’une candidose orale, la stomatite prothétique et les facteurs de risque étudiés. Conclusion : Les résultats de cette étude suggèrent que la stomatite prothétique progresse dans le temps indépendamment de la présence d’une candidose. Le brossage du palais pourrait être une approche simple à conseiller aux patients souffrant d’une stomatite prothétique de type 2 ou 3.

L'atténuation statistique des surdétections d'un correcteur grammatical symbolique

Les logiciels de correction grammaticale commettent parfois des détections illégitimes (fausses alertes), que nous appelons ici surdétections. La présente étude décrit les expériences de mise au point d’un système créé pour identifier et mettre en sourdine les surdétections produites par le correcteur du français conçu par la société Druide informatique. Plusieurs classificateurs ont été entraînés de manière supervisée sur 14 types de détections faites par le correcteur, en employant des traits couvrant di-verses informations linguistiques (dépendances et catégories syntaxiques, exploration du contexte des mots, etc.) extraites de phrases avec et sans surdétections. Huit des 14 classificateurs développés sont maintenant intégrés à la nouvelle version d’un correcteur commercial très populaire. Nos expériences ont aussi montré que les modèles de langue probabilistes, les SVM et la désambiguïsation sémantique améliorent la qualité de ces classificateurs. Ce travail est un exemple réussi de déploiement d’une approche d’apprentissage machine au service d’une application langagière grand public robuste.

Modélisation des réactions émotionnelles dans un système tutoriel intelligent

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Apprentissage automatique pour la détection de relations d'affaire

Les documents publiés par des entreprises, tels les communiqués de presse, contiennent une foule d’informations sur diverses activités des entreprises. C’est une source précieuse pour des analyses en intelligence d’affaire. Cependant, il est nécessaire de développer des outils pour permettre d’exploiter cette source automatiquement, étant donné son grand volume. Ce mémoire décrit un travail qui s’inscrit dans un volet d’intelligence d’affaire, à savoir la détection de relations d’affaire entre les entreprises décrites dans des communiqués de presse. Dans ce mémoire, nous proposons une approche basée sur la classification. Les méthodes de classifications existantes ne nous permettent pas d’obtenir une performance satisfaisante. Ceci est notamment dû à deux problèmes : la représentation du texte par tous les mots, qui n’aide pas nécessairement à spécifier une relation d’affaire, et le déséquilibre entre les classes. Pour traiter le premier problème, nous proposons une approche de représentation basée sur des mots pivots c’est-à-dire les noms d’entreprises concernées, afin de mieux cerner des mots susceptibles de les décrire. Pour le deuxième problème, nous proposons une classification à deux étapes. Cette méthode s’avère plus appropriée que les méthodes traditionnelles de ré-échantillonnage. Nous avons testé nos approches sur une collection de communiqués de presse dans le domaine automobile. Nos expérimentations montrent que les approches proposées peuvent améliorer la performance de classification. Notamment, la représentation du document basée sur les mots pivots nous permet de mieux centrer sur les mots utiles pour la détection de relations d’affaire. La classification en deux étapes apporte une solution efficace au problème de déséquilibre entre les classes. Ce travail montre que la détection automatique des relations d’affaire est une tâche faisable. Le résultat de cette détection pourrait être utilisé dans une analyse d’intelligence d’affaire.

Apprentissage machine efficace : théorie et pratique

Malgré des progrès constants en termes de capacité de calcul, mémoire et quantité de données disponibles, les algorithmes d'apprentissage machine doivent se montrer efficaces dans l'utilisation de ces ressources. La minimisation des coûts est évidemment un facteur important, mais une autre motivation est la recherche de mécanismes d'apprentissage capables de reproduire le comportement d'êtres intelligents. Cette thèse aborde le problème de l'efficacité à travers plusieurs articles traitant d'algorithmes d'apprentissage variés : ce problème est vu non seulement du point de vue de l'efficacité computationnelle (temps de calcul et mémoire utilisés), mais aussi de celui de l'efficacité statistique (nombre d'exemples requis pour accomplir une tâche donnée). Une première contribution apportée par cette thèse est la mise en lumière d'inefficacités statistiques dans des algorithmes existants. Nous montrons ainsi que les arbres de décision généralisent mal pour certains types de tâches (chapitre 3), de même que les algorithmes classiques d'apprentissage semi-supervisé à base de graphe (chapitre 5), chacun étant affecté par une forme particulière de la malédiction de la dimensionalité. Pour une certaine classe de réseaux de neurones, appelés réseaux sommes-produits, nous montrons qu'il peut être exponentiellement moins efficace de représenter certaines fonctions par des réseaux à une seule couche cachée, comparé à des réseaux profonds (chapitre 4). Nos analyses permettent de mieux comprendre certains problèmes intrinsèques liés à ces algorithmes, et d'orienter la recherche dans des directions qui pourraient permettre de les résoudre. Nous identifions également des inefficacités computationnelles dans les algorithmes d'apprentissage semi-supervisé à base de graphe (chapitre 5), et dans l'apprentissage de mélanges de Gaussiennes en présence de valeurs manquantes (chapitre 6). Dans les deux cas, nous proposons de nouveaux algorithmes capables de traiter des ensembles de données significativement plus grands. Les deux derniers chapitres traitent de l'efficacité computationnelle sous un angle différent. Dans le chapitre 7, nous analysons de manière théorique un algorithme existant pour l'apprentissage efficace dans les machines de Boltzmann restreintes (la divergence contrastive), afin de mieux comprendre les raisons qui expliquent le succès de cet algorithme. Finalement, dans le chapitre 8 nous présentons une application de l'apprentissage machine dans le domaine des jeux vidéo, pour laquelle le problème de l'efficacité computationnelle est relié à des considérations d'ingénierie logicielle et matérielle, souvent ignorées en recherche mais ô combien importantes en pratique.

Algorithmes d'apprentissage pour la recommandation

L'ère numérique dans laquelle nous sommes entrés apporte une quantité importante de nouveaux défis à relever dans une multitude de domaines. Le traitement automatique de l'abondante information à notre disposition est l'un de ces défis, et nous allons ici nous pencher sur des méthodes et techniques adaptées au filtrage et à la recommandation à l'utilisateur d'articles adaptés à ses goûts, dans le contexte particulier et sans précédent notable du jeu vidéo multi-joueurs en ligne. Notre objectif est de prédire l'appréciation des niveaux par les joueurs. Au moyen d'algorithmes d'apprentissage machine modernes tels que les réseaux de neurones profonds avec pré-entrainement non-supervisé, que nous décrivons après une introduction aux concepts nécessaires à leur bonne compréhension, nous proposons deux architectures aux caractéristiques différentes bien que basées sur ce même concept d'apprentissage profond. La première est un réseau de neurones multi-couches pour lequel nous tentons d'expliquer les performances variables que nous rapportons sur les expériences menées pour diverses variations de profondeur, d'heuristique d'entraînement, et des méthodes de pré-entraînement non-supervisé simple, débruitant et contractant. Pour la seconde architecture, nous nous inspirons des modèles à énergie et proposons de même une explication des résultats obtenus, variables eux aussi. Enfin, nous décrivons une première tentative fructueuse d'amélioration de cette seconde architecture au moyen d'un fine-tuning supervisé succédant le pré-entrainement, puis une seconde tentative où ce fine-tuning est fait au moyen d'un critère d'entraînement semi-supervisé multi-tâches. Nos expériences montrent des performances prometteuses, notament avec l'architecture inspirée des modèles à énergie, justifiant du moins l'utilisation d'algorithmes d'apprentissage profonds pour résoudre le problème de la recommandation.

Étude longitudinale du lien entre la justice organisationnelle et le niveau d’engagement organisationnel chez les travailleurs du secteur des technologies de l’information et des communications

L’objectif de ce mémoire est de comprendre l’impact de la justice organisationnelle sur l’engagement organisationnel des travailleurs du secteur des technologies de l’information et des communications (TIC). Afin d’étudier ce sujet, trois hypothèses de recherche ont été formulés à partir des théories suivantes : 1- la théorie des attentes d’Adams (1965), 2- la théorie de l’échange social de Blau (1964) et 3- la théorie de Leventhal (1980). La première hypothèse stipule que, toutes choses étant égales par ailleurs, la justice distributive fait augmenter l’engagement affectif des travailleurs du secteur des TIC. La seconde hypothèse indique que toutes choses étant égales par ailleurs, la justice procédurale fait augmenter l’engagement affectif des travailleurs du secteur des TIC. La dernière hypothèse énonce que toutes choses étant égales par ailleurs, la justice procédurale a un impact plus important sur l’engagement affectif des travailleurs du secteur des TIC que la justice distributive. Les données utilisées proviennent d’une enquête par questionnaires électroniques auprès de l’ensemble des nouveaux employés d’une entreprise d’envergure internationale du secteur des TIC ayant un établissement à Montréal. Les employés ont été sondés à trois reprises. Les résultats indiquent que la justice distributive fait augmenter l’engagement affectif auprès des travailleurs, ce qui appuie la première hypothèse. Ils démontrent également qu’il n’existe aucune relation statistiquement significative entre la justice procédurale et l’engagement affectif. Seule la justice distributive a un effet sur l’engagement affectif du travailleur. Les résultats montrent l’existence de relations significatives et positives entre trois des variables de contrôle et l’engagement affectif. Il s’agit de : 1- travail sous supervision, 2- soutien organisationnel perçu et 3- satisfaction intrinsèque.