Segmentation hiérarchique du domaine sémantique pour l'accélération d'un modèle de langage

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Quelques modèles de langage statistiques et graphiques lissés avec WordNet

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Déploiement automatique d’une application de routage téléphonique d’une langue source vers une langue cible

Les modèles de compréhension statistiques appliqués à des applications vocales nécessitent beaucoup de données pour être entraînés. Souvent, une même application doit pouvoir supporter plusieurs langues, c’est le cas avec les pays ayant plusieurs langues officielles. Il s’agit donc de gérer les mêmes requêtes des utilisateurs, lesquelles présentent une sémantique similaire, mais dans plusieurs langues différentes. Ce projet présente des techniques pour déployer automatiquement un modèle de compréhension statistique d’une langue source vers une langue cible. Ceci afin de réduire le nombre de données nécessaires ainsi que le temps relié au déploiement d’une application dans une nouvelle langue. Premièrement, une approche basée sur les techniques de traduction automatique est présentée. Ensuite une approche utilisant un espace sémantique commun pour comparer plusieurs langues a été développée. Ces deux méthodes sont comparées pour vérifier leurs limites et leurs faisabilités. L’apport de ce projet se situe dans l’amélioration d’un modèle de traduction grâce à l’ajout de données très proche de l’application ainsi que d’une nouvelle façon d’inférer un espace sémantique multilingue.

Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.

Le modèle statistique d'équilibre du comportement dans les jeux expérimentaux: applications aux contributions volontaires aux biens publics.

Rapport de recherche

Étude des anomalies du développement humain# un modèle d’analyse phénotypique

Depuis le début des années 90, le projet génome humain a permis l’émergence de nombreuses techniques globalisantes porteuses du suffixe –omique : génomique, transcriptomique, protéomique, épigénomique, etc.… L’étude globale de l’ensemble des phénotypes humains (« phénome ») est à l’origine de nouvelles technologies constituant la « phénomique ». L’approche phénomique permet de déterminer des liens entre des combinaisons de traits phénomiques. Nous voulons appliquer cette approche à l’étude des malformations humaines en particulier leurs combinaisons, ne formant des syndromes, des associations ou des séquences bien caractérisés que dans un petit nombre de cas. Afin d’évaluer la faisabilité de cette approche, pour une étude pilote nous avons décidé d’établir une base de données pour la description phénotypique des anomalies foetales. Nous avons effectué ces étapes : o Réalisation d’une étude rétrospective d’une série d’autopsies de foetus au CHU Sainte- Justine (Montréal, QC, Canada) entre 2001-2006 o Élaboration de trois thésaurus et d’une ontologie des anomalies développementales humaines o Construction une base de données en langage MySQL Cette base de données multicentrique accessible sur (http://www.malformations.org), nous permet de rechercher très facilement les données phénotypiques des 543 cas observés porteurs d’une anomalie donnée, de leur donner une description statistique et de générer les différents types d’hypothèses. Elle nous a également permis de sélectionner 153 cas de foetus malformés qui font l’objet d’une étude de micropuce d’hybridation génomique comparative (aCGH) à la recherche d’une anomalie génomique.

Intégration du contexte en traduction statistique à l’aide d’un perceptron à plusieurs couches

Les systèmes de traduction statistique à base de segments traduisent les phrases un segment à la fois, en plusieurs étapes. À chaque étape, ces systèmes ne considèrent que très peu d’informations pour choisir la traduction d’un segment. Les scores du dictionnaire de segments bilingues sont calculés sans égard aux contextes dans lesquels ils sont utilisés et les modèles de langue ne considèrent que les quelques mots entourant le segment traduit.Dans cette thèse, nous proposons un nouveau modèle considérant la phrase en entier lors de la sélection de chaque mot cible. Notre modèle d’intégration du contexte se différentie des précédents par l’utilisation d’un ppc (perceptron à plusieurs couches). Une propriété intéressante des ppc est leur couche cachée, qui propose une représentation alternative à celle offerte par les mots pour encoder les phrases à traduire. Une évaluation superficielle de cette représentation alter- native nous a montré qu’elle est capable de regrouper certaines phrases sources similaires même si elles étaient formulées différemment. Nous avons d’abord comparé avantageusement les prédictions de nos ppc à celles d’ibm1, un modèle couramment utilisé en traduction. Nous avons ensuite intégré nos ppc à notre système de traduction statistique de l’anglais vers le français. Nos ppc ont amélioré les traductions de notre système de base et d’un deuxième système de référence auquel était intégré IBM1.

Traduction statistique par recherche locale

La traduction statistique vise l’automatisation de la traduction par le biais de modèles statistiques. Dans ce travail, nous relevons un des grands défis du domaine : la recherche (Brown et al., 1993). Les systèmes de traduction statistique de référence, tel Moses (Koehn et al., 2007), effectuent généralement la recherche en explorant l’espace des préfixes par programmation dynamique, une solution coûteuse sur le plan computationnel pour ce problème potentiellement NP-complet (Knight, 1999). Nous postulons qu’une approche par recherche locale (Langlais et al., 2007) peut mener à des solutions tout aussi intéressantes en un temps et un espace mémoire beaucoup moins importants (Russell et Norvig, 2010). De plus, ce type de recherche facilite l’incorporation de modèles globaux qui nécessitent des traductions complètes et permet d’effectuer des modifications sur ces dernières de manière non-continue, deux tâches ardues lors de l’exploration de l’espace des préfixes. Nos expériences nous révèlent que la recherche locale en traduction statistique est une approche viable, s’inscrivant dans l’état de l’art.

Modèle de la compatibilité fondé sur l’attachement et la personnalité chez des couples en détresse

Cette thèse poursuit deux objectifs principaux. Le premier consiste à développer un modèle de la compatibilité conjugale fondé sur les notions d’attachement (évitement de la proximité et anxiété d’abandon) et de personnalité (névrotisme). Le deuxième objectif est d’examiner la validité prévisionnelle de ce modèle de compatibilité chez des couples en psychothérapie conjugale. Dans un premier temps, la présente thèse fait brièvement état de la situation des couples au Québec et des répercussions de la détresse conjugale. Par la suite, la recension de la documentation traite du concept de compatibilité entre conjoints en tant qu’alternative à la conceptualisation des dynamiques de couples. Cette analyse théorique montre ensuite la pertinence d’enrichir les modèles de compatibilité en y introduisant les notions d’attachement et de névrotisme. L’examen de ce modèle est suivi par une description des enjeux méthodologiques et statistiques à prendre en compte pour déterminer les fondements scientifiques des hypothèses sur la compatibilité conjugale. L’analyse de la validité prévisionnelle du modèle de compatibilité proposé compose le cœur de cette thèse. Pour ce faire, des couples effectuant une thérapie conjugale ont complété une série de questionnaires en début de suivi, dont l’Échelle d’ajustement dyadique (Spanier, 1976), le Questionnaire sur les expériences d’attachement amoureux (Brennan, Clark, & Shaver, 1998) et le NEO-FFI (Costa & McCrae, 1992). Les données des 365 couples de l’échantillon sont d’abord analysées en appliquant une méthode fondée sur les modèles d’interdépendance acteur-partenaire (APIM) (Kashy & Snyder, 1995). Les résultats démontrent que la présence d’évitement de la proximité est négativement liée à la satisfaction des conjoints eux-mêmes et à celle de leur partenaire. La méthode APIM révèle aussi que plus l’écart entre les conjoints sur l’évitement et le névrotisme est grand, plus les partenaires rapportent être insatisfaits de leur relation. Les résultats sont ensuite examinés à l’aide d’une technique statistique, l’analyse des regroupements naturels ou des clusters, susceptible de mieux examiner la notion de compatibilité. Cette analyse montre la présence de sept regroupements naturels de conjoints selon leurs scores d’attachement et de névrotisme. De plus, lorsque ces clusters sont croisés en fonction de la détresse conjugale, trois grands sous-types de couples qui engendrent des profils de détresse conjugale distincts émergent des analyses. Ces clusters présentent enfin des différences qualitatives quant à la nature des mandats thérapeutiques confiés aux thérapeutes. Les implications des résultats sont discutées en regard de la validation du modèle de compatibilité fondé sur les notions d’attachement et de névrotisme. Certaines données de la présente thèse suggèrent que ce ne sont pas les caractéristiques de l’un ou de l’autre des conjoints prises isolément, mais plutôt la combinaison des caractéristiques des conjoints qui explique le mieux la nature et la gravité de la détresse conjugale vécue. Plusieurs défis conceptuels, théoriques et méthodologiques sont discutés et des pistes de recherches futures sont proposées afin de consolider les assises scientifiques du modèle de compatibilité.

Simulateur compilé d’une description multi-langage des systèmes hétérogènes

La conception de systèmes hétérogènes exige deux étapes importantes, à savoir : la modélisation et la simulation. Habituellement, des simulateurs sont reliés et synchronisés en employant un bus de co-simulation. Les approches courantes ont beaucoup d’inconvénients : elles ne sont pas toujours adaptées aux environnements distribués, le temps d’exécution de simulation peut être très décevant, et chaque simulateur a son propre noyau de simulation. Nous proposons une nouvelle approche qui consiste au développement d’un simulateur compilé multi-langage où chaque modèle peut être décrit en employant différents langages de modélisation tel que SystemC, ESyS.Net ou autres. Chaque modèle contient généralement des modules et des moyens de communications entre eux. Les modules décrivent des fonctionnalités propres à un système souhaité. Leur description est réalisée en utilisant la programmation orientée objet et peut être décrite en utilisant une syntaxe que l’utilisateur aura choisie. Nous proposons ainsi une séparation entre le langage de modélisation et la simulation. Les modèles sont transformés en une même représentation interne qui pourrait être vue comme ensemble d’objets. Notre environnement compile les objets internes en produisant un code unifié au lieu d’utiliser plusieurs langages de modélisation qui ajoutent beaucoup de mécanismes de communications et des informations supplémentaires. Les optimisations peuvent inclure différents mécanismes tels que le regroupement des processus en un seul processus séquentiel tout en respectant la sémantique des modèles. Nous utiliserons deux niveaux d’abstraction soit le « register transfer level » (RTL) et le « transaction level modeling » (TLM). Le RTL permet une modélisation à bas niveau d’abstraction et la communication entre les modules se fait à l’aide de signaux et des signalisations. Le TLM est une modélisation d’une communication transactionnelle à un plus haut niveau d’abstraction. Notre objectif est de supporter ces deux types de simulation, mais en laissant à l’usager le choix du langage de modélisation. De même, nous proposons d’utiliser un seul noyau au lieu de plusieurs et d’enlever le bus de co-simulation pour accélérer le temps de simulation.

Modèle novateur de conception d’interface humain-ordinateur centrée sur l’utilisateur : le designer en tant que médiateur

Cette recherche porte sur des questions relatives à la conception des interfaces humain-ordinateur. Elle s’inscrit dans le courant des recherches sur l’utilisabilité et elle s’intéresse particulièrement aux approches centrées sur l’utilisateur. Nous avons été très souvent témoin des difficultés éprouvées par les utilisateurs dans l’usage de certaines interfaces interactives et nous considérons que ces difficultés découlent d’un problème de design. Le design d’interface doit être basé sur les besoins de l’utilisateur dans le cadre de ses activités, dont les caractéristiques devaient être bien comprises et bien prises en considération pour mener à la conception d’interfaces qui respectent les critères d’utilisabilité. De plus, la communauté des chercheurs ainsi que l’industrie admettent maintenant que pour améliorer le design, il est crucial de développer les interfaces humain-ordinateur au sein d’une équipe multidisciplinaire. Malgré les avancées significatives dans le domaine du design centrées sur l’utilisateur, les visées annoncées sont rarement réalisées. La problématique étudiée nous a conduit à poser la question suivante : En tant que designer d’une équipe multidisciplinaire de conception, comment modifier la dynamique de collaboration et créer les conditions d’une conception véritablement centrée sur l’interaction humain-ordinateur ? Notre démarche de recherche a été guidée par l’hypothèse voulant que l’activité de design puisse être le moyen de faciliter la création d’un langage commun, des échanges constructifs entre les disciplines, et une réflexion commune centrée sur l’utilisateur. La formulation de cette hypothèse nous a mené à réfléchir sur le rôle du designer. Pour mener cette recherche, nous avons adopté une méthodologie mixte. Dans un premier temps, nous avons utilisé une approche de recherche par projet (recherche-projet) et notre fonction était celle de designer-chercheur. La recherche-projet est particulièrement appropriée pour les recherches en design. Elle privilégie les méthodes qualitatives et interprétatives ; elle étudie la situation dans sa complexité et de façon engagée. Nous avons effectué trois études de cas successives. L’objectif de la première étude était d’observer notre propre rôle et nos interactions avec les autres membres de l’équipe de projet pendant le processus de design. Dans la seconde étude, notre attention a été portée sur les interactions et la collaboration de l’équipe. Nous avons utilisé le processus de design comme méthode pour la construction d’un langage commun entre les intervenants, pour enrichir les réflexions et pour favoriser leur collaboration menant à redéfinir les objectifs du projet. Les limites de ces deux cas nous ont conduit à une intervention différente que nous avons mise en œuvre dans la troisième étude de cas. Cette intervention est constituée par la mise en place d’un atelier intensif de conception où les intervenants au projet se sont engagés à développer une attitude interdisciplinaire permettant la copratique réflexive pour atteindre les objectifs d’un projet de construction d’un site web complexe centré sur l’utilisateur. L’analyse et l’interprétation des données collectées de ces trois études de cas nous ont conduit à créer un modèle théorique de conception d’interface humain-ordinateur. Ce modèle qui informe et structure le processus de design impliquant une équipe multidisciplinaire a pour objectif d’améliorer l’approche centrée sur l’utilisateur. Dans le cadre de ce modèle, le designer endosse le rôle de médiateur en assurant l’efficacité de la collaboration de l’équipe. Dans un deuxième temps, afin de valider le modèle et éventuellement le perfectionner, nous avons utilisé une approche ethnographique comportant des entrevues avec trois experts dans le domaine. Les données des entrevues confirment la validité du modèle ainsi que son potentiel de transférabilité à d’autres contextes. L’application de ce modèle de conception permet d’obtenir des résultats plus performants, plus durables, et dans un délai plus court.

Croissance spirituelle et processus du devenir soi : proposition d'un modèle d'accompagnement spirituel à partir d'une interprétation psycho-symbolique du récit de Jésus

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Un calcul algébrique détaillé de la fonction de partition du modèle d'Ising bidimensionnel

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Traduction statistique vers une langue à morphologie riche : combinaison d’algorithmes de segmentation morphologique et de modèles statistiques de traduction automatique

Les systèmes statistiques de traduction automatique ont pour tâche la traduction d’une langue source vers une langue cible. Dans la plupart des systèmes de traduction de référence, l'unité de base considérée dans l'analyse textuelle est la forme telle qu’observée dans un texte. Une telle conception permet d’obtenir une bonne performance quand il s'agit de traduire entre deux langues morphologiquement pauvres. Toutefois, ceci n'est plus vrai lorsqu’il s’agit de traduire vers une langue morphologiquement riche (ou complexe). Le but de notre travail est de développer un système statistique de traduction automatique comme solution pour relever les défis soulevés par la complexité morphologique. Dans ce mémoire, nous examinons, dans un premier temps, un certain nombre de méthodes considérées comme des extensions aux systèmes de traduction traditionnels et nous évaluons leurs performances. Cette évaluation est faite par rapport aux systèmes à l’état de l’art (système de référence) et ceci dans des tâches de traduction anglais-inuktitut et anglais-finnois. Nous développons ensuite un nouvel algorithme de segmentation qui prend en compte les informations provenant de la paire de langues objet de la traduction. Cet algorithme de segmentation est ensuite intégré dans le modèle de traduction à base d’unités lexicales « Phrase-Based Models » pour former notre système de traduction à base de séquences de segments. Enfin, nous combinons le système obtenu avec des algorithmes de post-traitement pour obtenir un système de traduction complet. Les résultats des expériences réalisées dans ce mémoire montrent que le système de traduction à base de séquences de segments proposé permet d’obtenir des améliorations significatives au niveau de la qualité de la traduction en terme de le métrique d’évaluation BLEU (Papineni et al., 2002) et qui sert à évaluer. Plus particulièrement, notre approche de segmentation réussie à améliorer légèrement la qualité de la traduction par rapport au système de référence et une amélioration significative de la qualité de la traduction est observée par rapport aux techniques de prétraitement de base (baseline).