Apprentissage des réseaux de neurones profonds et applications en traitement automatique de la langue naturelle

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens.

Désambiguisation de sens par modèles de contextes et son application à la Recherche d’Information

Il est connu que les problèmes d'ambiguïté de la langue ont un effet néfaste sur les résultats des systèmes de Recherche d'Information (RI). Toutefois, les efforts de recherche visant à intégrer des techniques de Désambiguisation de Sens (DS) à la RI n'ont pas porté fruit. La plupart des études sur le sujet obtiennent effectivement des résultats négatifs ou peu convaincants. De plus, des investigations basées sur l'ajout d'ambiguïté artificielle concluent qu'il faudrait une très haute précision de désambiguation pour arriver à un effet positif. Ce mémoire vise à développer de nouvelles approches plus performantes et efficaces, se concentrant sur l'utilisation de statistiques de cooccurrence afin de construire des modèles de contexte. Ces modèles pourront ensuite servir à effectuer une discrimination de sens entre une requête et les documents d'une collection. Dans ce mémoire à deux parties, nous ferons tout d'abord une investigation de la force de la relation entre un mot et les mots présents dans son contexte, proposant une méthode d'apprentissage du poids d'un mot de contexte en fonction de sa distance du mot modélisé dans le document. Cette méthode repose sur l'idée que des modèles de contextes faits à partir d'échantillons aléatoires de mots en contexte devraient être similaires. Des expériences en anglais et en japonais montrent que la force de relation en fonction de la distance suit généralement une loi de puissance négative. Les poids résultant des expériences sont ensuite utilisés dans la construction de systèmes de DS Bayes Naïfs. Des évaluations de ces systèmes sur les données de l'atelier Semeval en anglais pour la tâche Semeval-2007 English Lexical Sample, puis en japonais pour la tâche Semeval-2010 Japanese WSD, montrent que les systèmes ont des résultats comparables à l'état de l'art, bien qu'ils soient bien plus légers, et ne dépendent pas d'outils ou de ressources linguistiques. La deuxième partie de ce mémoire vise à adapter les méthodes développées à des applications de Recherche d'Information. Ces applications ont la difficulté additionnelle de ne pas pouvoir dépendre de données créées manuellement. Nous proposons donc des modèles de contextes à variables latentes basés sur l'Allocation Dirichlet Latente (LDA). Ceux-ci seront combinés à la méthodes de vraisemblance de requête par modèles de langue. En évaluant le système résultant sur trois collections de la conférence TREC (Text REtrieval Conference), nous observons une amélioration proportionnelle moyenne de 12% du MAP et 23% du GMAP. Les gains se font surtout sur les requêtes difficiles, augmentant la stabilité des résultats. Ces expériences seraient la première application positive de techniques de DS sur des tâches de RI standard.

Système symbolique de création de résumés de mise à jour

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Étude de transformations grammaticales pour l'entraînement de grammaires probabilistes hors-contexte

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Adaptation de modèles de traduction dans le cadre du projet TransType

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Étude de transformations grammaticales pour l'entraînement de grammaires probabilistes hors-contexte

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Adaptation de modèles de traduction dans le cadre du projet TransType

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Évaluation échocardiographique des effets du pimobendane dans le traitement des maladies valvulaires dégénératives canines asymptomatiques

Contexte : Les maladies valvulaires dégénératives (MVD) représentent la pathologie cardiaque acquise la plus fréquente chez le chien. Malgré une recherche active, à l’heure actuelle aucun traitement étudié ne s’est avéré efficace dans le traitement du stade asymptomatique de la condition. Le pimobendane est un nouvel agent inodilatateur, qui s’est montré prometteur dans le traitement des stades avancés des MVD, mais peu est connu sur ses effets hémodynamiques et son impact sur le volume de régurgitation dans les MVD naturelles asymptomatiques. Hypothèses : L’introduction du pimobendane réduit la fraction de régurgitation (FR) chez les chiens atteints de MVD asymptomatiques. Sujets étudiés : Vingt-quatre chiens de compagnie, appartenant à la clientèle du Centre Hospitalier Universitaire Vétérinaire (CHUV) de l’université de Montréal et affectés par une MVD de classe ISACHC 1b. Méthode: Étude prospective, contrôlée et conduite à l’aveugle. Les chiens ont été assignés à un groupe traitement (n=19) recevant du pimobendane (0,2-0,3 mg/Kg q12h) ou à un groupe contrôle (n=5). Les évaluations échocardiographiques ont été effectuées sur une période de 6 mois. Résultats : L’introduction du pimobendane n’a pas été associée à une diminution de la FR chez les chiens affectés par une MVD asymptomatique de classe ISACHC 1b au cours de l’étude (p=0,85). Une augmentation significative de la fraction d’éjection (80,8 +/- 1,42 vs. 69,0 +/- 2,76, p=0,0064) ainsi qu’une baisse du diamètre ventriculaire gauche télé systolique (p=0.011) ont été observées chez le groupe pimobendane au jour 30. Toutefois, cet effet sur la fonction systolique n’a pas persisté au cours des 6 mois d’évaluation.

Une analyse des connecteurs pragmatiques fondée sur la théorie de la pertinence et son application au TALN

Dans cet article, nous proposons d’appliquer une analyse des connecteurs pragmatiques issue de la théorie de la pertinence au traitement automatique des langues naturelles (TALN). Nous commencerons par montrer les conséquences de l’application de la théorie de la pertinence sur l’étude des connecteurs, en prenant pour exemple les connecteurs de l’anglais. Dans un deuxième temps, nous exposerons les contraintes imposées par les limites actuelles du TALN. Enfin, nous proposerons un schéma d’étude des connecteurs pragmatiques pour le TALN ainsi qu’une esquisse d’application de cette méthode.

Chaines de traitement des statistiques de pêche artisanale. II - annexes et codages

The different coding methods concerning artisanal collective fishing in the Ebrié lagoon, are exposed. For each computer program one example is proposed.

Chaine de traitement des statistiques de pêche artisanale: les sennes des lagunes de Côte d'Ivoire

Computer programs were developed to calculate the parameters commonly used in fisheries statistics: catch per unit effort, catch by species, size distribution, etc. These parameters were computed for collective fishing, purse seine and beach seine; important aspects of the artisanal fisheries in the Ebrié Lagoon.

Récolte et traitement des données statistiques de la pêche des palangriers asiatiques dans l'Atlantique

The authors report on the computer programmes developed in the Oceanographic Research Centre of Abidjan for the collection and treatment of statistical data on the fisheries of the asiatic trawlers in the Atlantic. They provide yield by boat, by fishing sector (5 degrees x 5 degrees) and by 15 days fishing in the Atlantic.

Nouveau programme de traitement des statistiques de pêche des sardiniers du port d'Abidjan

The author reports on a simplified computer programme which allows the computation of only those fishery statistical data which are directly useful, particularly for the problem related with studies on sardine stocks.

Les périphrases verbales des langues romanes

info:eu-repo/semantics/published