Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Désambiguisation de sens par modèles de contextes et son application à la Recherche d’Information

Il est connu que les problèmes d'ambiguïté de la langue ont un effet néfaste sur les résultats des systèmes de Recherche d'Information (RI). Toutefois, les efforts de recherche visant à intégrer des techniques de Désambiguisation de Sens (DS) à la RI n'ont pas porté fruit. La plupart des études sur le sujet obtiennent effectivement des résultats négatifs ou peu convaincants. De plus, des investigations basées sur l'ajout d'ambiguïté artificielle concluent qu'il faudrait une très haute précision de désambiguation pour arriver à un effet positif. Ce mémoire vise à développer de nouvelles approches plus performantes et efficaces, se concentrant sur l'utilisation de statistiques de cooccurrence afin de construire des modèles de contexte. Ces modèles pourront ensuite servir à effectuer une discrimination de sens entre une requête et les documents d'une collection. Dans ce mémoire à deux parties, nous ferons tout d'abord une investigation de la force de la relation entre un mot et les mots présents dans son contexte, proposant une méthode d'apprentissage du poids d'un mot de contexte en fonction de sa distance du mot modélisé dans le document. Cette méthode repose sur l'idée que des modèles de contextes faits à partir d'échantillons aléatoires de mots en contexte devraient être similaires. Des expériences en anglais et en japonais montrent que la force de relation en fonction de la distance suit généralement une loi de puissance négative. Les poids résultant des expériences sont ensuite utilisés dans la construction de systèmes de DS Bayes Naïfs. Des évaluations de ces systèmes sur les données de l'atelier Semeval en anglais pour la tâche Semeval-2007 English Lexical Sample, puis en japonais pour la tâche Semeval-2010 Japanese WSD, montrent que les systèmes ont des résultats comparables à l'état de l'art, bien qu'ils soient bien plus légers, et ne dépendent pas d'outils ou de ressources linguistiques. La deuxième partie de ce mémoire vise à adapter les méthodes développées à des applications de Recherche d'Information. Ces applications ont la difficulté additionnelle de ne pas pouvoir dépendre de données créées manuellement. Nous proposons donc des modèles de contextes à variables latentes basés sur l'Allocation Dirichlet Latente (LDA). Ceux-ci seront combinés à la méthodes de vraisemblance de requête par modèles de langue. En évaluant le système résultant sur trois collections de la conférence TREC (Text REtrieval Conference), nous observons une amélioration proportionnelle moyenne de 12% du MAP et 23% du GMAP. Les gains se font surtout sur les requêtes difficiles, augmentant la stabilité des résultats. Ces expériences seraient la première application positive de techniques de DS sur des tâches de RI standard.

Système symbolique de création de résumés de mise à jour

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Étude de transformations grammaticales pour l'entraînement de grammaires probabilistes hors-contexte

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Adaptation de modèles de traduction dans le cadre du projet TransType

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Évaluation échocardiographique des effets du pimobendane dans le traitement des maladies valvulaires dégénératives canines asymptomatiques

Contexte : Les maladies valvulaires dégénératives (MVD) représentent la pathologie cardiaque acquise la plus fréquente chez le chien. Malgré une recherche active, à l’heure actuelle aucun traitement étudié ne s’est avéré efficace dans le traitement du stade asymptomatique de la condition. Le pimobendane est un nouvel agent inodilatateur, qui s’est montré prometteur dans le traitement des stades avancés des MVD, mais peu est connu sur ses effets hémodynamiques et son impact sur le volume de régurgitation dans les MVD naturelles asymptomatiques. Hypothèses : L’introduction du pimobendane réduit la fraction de régurgitation (FR) chez les chiens atteints de MVD asymptomatiques. Sujets étudiés : Vingt-quatre chiens de compagnie, appartenant à la clientèle du Centre Hospitalier Universitaire Vétérinaire (CHUV) de l’université de Montréal et affectés par une MVD de classe ISACHC 1b. Méthode: Étude prospective, contrôlée et conduite à l’aveugle. Les chiens ont été assignés à un groupe traitement (n=19) recevant du pimobendane (0,2-0,3 mg/Kg q12h) ou à un groupe contrôle (n=5). Les évaluations échocardiographiques ont été effectuées sur une période de 6 mois. Résultats : L’introduction du pimobendane n’a pas été associée à une diminution de la FR chez les chiens affectés par une MVD asymptomatique de classe ISACHC 1b au cours de l’étude (p=0,85). Une augmentation significative de la fraction d’éjection (80,8 +/- 1,42 vs. 69,0 +/- 2,76, p=0,0064) ainsi qu’une baisse du diamètre ventriculaire gauche télé systolique (p=0.011) ont été observées chez le groupe pimobendane au jour 30. Toutefois, cet effet sur la fonction systolique n’a pas persisté au cours des 6 mois d’évaluation.

L'évolution du prix des ressources naturelles : test d'une version stochastique de la règle d'Hotelling.

Rapport de recherche

L'encadrement juridique du traitement des données personnelles sur les sites de commerce en ligne

"Thèse en vue de l'obtention du grade de docteur en droit de l'Université Panthéon-Assas (Paris II) et de docteur en droit de la faculté de droit de l'Université de Montréal en droit privé"

Le traitement des porteurs minoritaires de titres de sociétés par actions publiques dans un contexte transactionnel : où en sommes-nous?

"Mémoire présenté à la Faculté des études supérieures en vue de l'obtention du grade de Maître en Droit (LL.M) Option Droit des Affaires"

De l’absence d’esbroufe dans le traitement des faits sociaux en contexte constitutionnel : la retenue méconnue du juge Antonio Lamer

Reproduit avec la permission de l'éditeur, LexisNexis Canada Inc.

Comparaison de quatre méthodes pour le traitement des données manquantes au sein d’un modèle multiniveau paramétrique visant l’estimation de l’effet d’une intervention

Les données manquantes sont fréquentes dans les enquêtes et peuvent entraîner d’importantes erreurs d’estimation de paramètres. Ce mémoire méthodologique en sociologie porte sur l’influence des données manquantes sur l’estimation de l’effet d’un programme de prévention. Les deux premières sections exposent les possibilités de biais engendrées par les données manquantes et présentent les approches théoriques permettant de les décrire. La troisième section porte sur les méthodes de traitement des données manquantes. Les méthodes classiques sont décrites ainsi que trois méthodes récentes. La quatrième section contient une présentation de l’Enquête longitudinale et expérimentale de Montréal (ELEM) et une description des données utilisées. La cinquième expose les analyses effectuées, elle contient : la méthode d’analyse de l’effet d’une intervention à partir de données longitudinales, une description approfondie des données manquantes de l’ELEM ainsi qu’un diagnostic des schémas et du mécanisme. La sixième section contient les résultats de l’estimation de l’effet du programme selon différents postulats concernant le mécanisme des données manquantes et selon quatre méthodes : l’analyse des cas complets, le maximum de vraisemblance, la pondération et l’imputation multiple. Ils indiquent (I) que le postulat sur le type de mécanisme MAR des données manquantes semble influencer l’estimation de l’effet du programme et que (II) les estimations obtenues par différentes méthodes d’estimation mènent à des conclusions similaires sur l’effet de l’intervention.

Essais en économie de l’environnement et des ressources naturelles sous incertitude

Cette thèse comprend trois essais en économie de l’environnement et des ressources naturelles sous incertitude. Le premier essai propose un modèle de jeu différentiel qui analyse la pollution globale à travers la quête à l’hégémonie politique entre pays. Le second essai utilise des données boursières pour estimer une version stochastique de la règle de Hotelling et ainsi inférer sur le rôle des ressources naturelles non renouvelables dans la diversification du risque. Le troisième essai montre comment la prise en compte des perspectives futures modifie la règle de Hotelling dans un contexte de diversification du risque.

Gestion des ressources naturelles, dégradation de l’environnement et stratégies de subsistance dans le désert de Thar : étude ethnographique dans la région du Marwar, au Rajasthan en Inde

Cette recherche porte sur les origines et les effets de la dégradation de l’environnement dans le désert de Thar, au Rajasthan en Inde. Elle expose les processus politico-économiques qui conditionnent la gestion des ressources naturelles dans la région du Marwar depuis l’indépendance de l’Inde à aujourd’hui. Les modes de gestion des ressources environnementales et agraires dans le contexte du système jagirdari, un système foncier domanial qui prévalait dans la région avant l’indépendance de l’Inde, sont d’abord présentés. S’en suit une analyse de la manière dont les diverses idéologies liées au développement postcolonial ont reconfiguré le paysage socio-administratif et environnemental de la région. Ces transformations ont engendré des désordres écologiques qui ont donné lieu à une crise environnementale et agraire qui connaît son paroxysme avec les nombreux déficits pluviométriques qui sévissent depuis la dernière décennie dans la région. À partir d’une recherche de terrain effectuée dans la communauté de Givas, l’impact – au plan physique et métaphysique – de ces problèmes environnementaux sur la population locale est examiné. L’étude porte également sur les réponses à ces changements, soit les stratégies de subsistance adoptées par la population locale, de même que les interventions déployées par une organisation non gouvernementale et par l’État indien – à travers le National Rural Employment Guarantee Act (NREGA). L’analyse démontre que l’expérience de la dégradation de l’environnement, à travers ses effets et les stratégies d’adaptation qui s’en suivent, est tributaire de facteurs politiques, économiques et socioculturels et donc différenciée selon le genre, la classe et la caste.