Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Plasticité du cortex visuel: «homéodynamie» des connexions neuronales et modèle d’effets d’antidépresseurs

Les informations sensorielles sont traitées dans le cortex par des réseaux de neurones co-activés qui forment des assemblées neuronales fonctionnelles. Le traitement visuel dans le cortex est régit par différents aspects des caractéristiques neuronales tels que l’aspect anatomique, électrophysiologique et moléculaire. Au sein du cortex visuel primaire, les neurones sont sélectifs à divers attributs des stimuli tels que l’orientation, la direction, le mouvement et la fréquence spatiale. Chacun de ces attributs conduit à une activité de décharge maximale pour une population neuronale spécifique. Les neurones du cortex visuel ont cependant la capacité de changer leur sélectivité en réponse à une exposition prolongée d’un stimulus approprié appelée apprentissage visuel ou adaptation visuelle à un stimulus non préférentiel. De ce fait, l’objectif principal de cette thèse est d’investiguer les mécanismes neuronaux qui régissent le traitement visuel durant une plasticité induite par adaptation chez des animaux adultes. Ces mécanismes sont traités sous différents aspects : la connectivité neuronale, la sélectivité neuronale, les propriétés électrophysiologiques des neurones et les effets des drogues (sérotonine et fluoxétine). Le modèle testé se base sur les colonnes d’orientation du cortex visuel primaire. La présente thèse est subdivisée en quatre principaux chapitres. Le premier chapitre (A) traite de la réorganisation du cortex visuel primaire suite à une plasticité induite par adaptation visuelle. Le second chapitre (B) examine la connectivité neuronale fonctionnelle en se basant sur des corrélations croisées entre paires neuronales ainsi que sur des corrélations d’activités de populations neuronales. Le troisième chapitre (C) met en liaison les aspects cités précédemment (les effets de l’adaptation visuelle et la connectivité fonctionnelle) aux propriétés électrophysiologiques des neurones (deux classes de neurones sont traitées : les neurones à décharge régulière et les neurones à décharge rapide ou burst). Enfin, le dernier chapitre (D) a pour objectif l’étude de l’effet du couplage de l’adaptation visuelle à l’administration de certaines drogues, notamment la sérotonine et la fluoxétine (inhibiteur sélectif de recapture de la sérotonine). Méthodes En utilisant des enregistrements extracellulaires d’activités neuronales dans le cortex visuel primaire (V1) combinés à un processus d’imagerie cérébrale optique intrinsèque, nous enregistrons l’activité de décharge de populations neuronales et nous examinons l’activité de neurones individuels extraite des signaux multi-unitaires. L’analyse de l’activité cérébrale se base sur différents algorithmes : la distinction des propriétés électrophysiologiques des neurones se fait par calcul de l’intervalle de temps entre la vallée et le pic maximal du potentiel d’action (largeur du potentiel d’action), la sélectivité des neurones est basée sur leur taux de décharge à différents stimuli, et la connectivité fonctionnelle utilise des calculs de corrélations croisées. L’utilisation des drogues se fait par administration locale sur la surface du cortex (après une craniotomie et une durotomie). Résultats et conclusions Dans le premier chapitre, nous démontrons la capacité des neurones à modifier leur sélectivité après une période d’adaptation visuelle à un stimulus particulier, ces changements aboutissent à une réorganisation des cartes corticales suivant un patron spécifique. Nous attribuons ce résultat à la flexibilité de groupes fonctionnels de neurones qui étaient longtemps considérés comme des unités anatomiques rigides. En effet, nous observons une restructuration extensive des domaines d’orientation dans le but de remodeler les colonnes d’orientation où chaque stimulus est représenté de façon égale. Ceci est d’autant plus confirmé dans le second chapitre où dans ce cas, les cartes de connectivité fonctionnelle sont investiguées. En accord avec les résultats énumérés précédemment, les cartes de connectivité montrent également une restructuration massive mais de façon intéressante, les neurones utilisent une stratégie de sommation afin de stabiliser leurs poids de connectivité totaux. Ces dynamiques de connectivité sont examinées dans le troisième chapitre en relation avec les propriétés électrophysiologiques des neurones. En effet, deux modes de décharge neuronale permettent la distinction entre deux classes neuronales. Leurs dynamiques de corrélations distinctes suggèrent que ces deux classes jouent des rôles clés différents dans l’encodage et l’intégration des stimuli visuels au sein d’une population neuronale. Enfin, dans le dernier chapitre, l’adaptation visuelle est combinée avec l’administration de certaines substances, notamment la sérotonine (neurotransmetteur) et la fluoxétine (inhibiteur sélectif de recapture de la sérotonine). Ces deux substances produisent un effet similaire en facilitant l’acquisition des stimuli imposés par adaptation. Lorsqu’un stimulus non optimal est présenté en présence de l’une des deux substances, nous observons une augmentation du taux de décharge des neurones en présentant ce stimulus. Nous présentons un modèle neuronal basé sur cette recherche afin d’expliquer les fluctuations du taux de décharge neuronale en présence ou en absence des drogues. Cette thèse présente de nouvelles perspectives quant à la compréhension de l’adaptation des neurones du cortex visuel primaire adulte dans le but de changer leur sélectivité dans un environnement d’apprentissage. Nous montrons qu’il y a un parfait équilibre entre leurs habiletés plastiques et leur dynamique d’homéostasie.

Gestionnaire de vie privée : un cadre pour la protection de la vie privée dans les interactions entre apprenants

L’évolution continue des besoins d’apprentissage vers plus d’efficacité et plus de personnalisation a favorisé l’émergence de nouveaux outils et dimensions dont l’objectif est de rendre l’apprentissage accessible à tout le monde et adapté aux contextes technologiques et sociaux. Cette évolution a donné naissance à ce que l’on appelle l'apprentissage social en ligne mettant l'accent sur l’interaction entre les apprenants. La considération de l’interaction a apporté de nombreux avantages pour l’apprenant, à savoir établir des connexions, échanger des expériences personnelles et bénéficier d’une assistance lui permettant d’améliorer son apprentissage. Cependant, la quantité d'informations personnelles que les apprenants divulguent parfois lors de ces interactions, mène, à des conséquences souvent désastreuses en matière de vie privée comme la cyberintimidation, le vol d’identité, etc. Malgré les préoccupations soulevées, la vie privée en tant que droit individuel représente une situation idéale, difficilement reconnaissable dans le contexte social d’aujourd’hui. En effet, on est passé d'une conceptualisation de la vie privée comme étant un noyau des données sensibles à protéger des pénétrations extérieures à une nouvelle vision centrée sur la négociation de la divulgation de ces données. L’enjeu pour les environnements sociaux d’apprentissage consiste donc à garantir un niveau maximal d’interaction pour les apprenants tout en préservant leurs vies privées. Au meilleur de nos connaissances, la plupart des innovations dans ces environnements ont porté sur l'élaboration des techniques d’interaction, sans aucune considération pour la vie privée, un élément portant nécessaire afin de créer un environnement favorable à l’apprentissage. Dans ce travail, nous proposons un cadre de vie privée que nous avons appelé « gestionnaire de vie privée». Plus précisément, ce gestionnaire se charge de gérer la protection des données personnelles et de la vie privée de l’apprenant durant ses interactions avec ses co-apprenants. En s’appuyant sur l’idée que l’interaction permet d’accéder à l’aide en ligne, nous analysons l’interaction comme une activité cognitive impliquant des facteurs contextuels, d’autres apprenants, et des aspects socio-émotionnels. L'objectif principal de cette thèse est donc de revoir les processus d’entraide entre les apprenants en mettant en oeuvre des outils nécessaires pour trouver un compromis entre l’interaction et la protection de la vie privée. ii Ceci a été effectué selon trois niveaux : le premier étant de considérer des aspects contextuels et sociaux de l’interaction telle que la confiance entre les apprenants et les émotions qui ont initié le besoin d’interagir. Le deuxième niveau de protection consiste à estimer les risques de cette divulgation et faciliter la décision de protection de la vie privée. Le troisième niveau de protection consiste à détecter toute divulgation de données personnelles en utilisant des techniques d’apprentissage machine et d’analyse sémantique.

Mise à l’essai d’une séquence d’apprentissage intégrant des chansons comme source primaire pour développer la compétence 2 : interpréter la réalité sociale à l’aide de la méthode historique

Ce mémoire a pour objet la mise à l’essai d’une séquence d’apprentissage intégrant des chansons comme sources primaires pour développer la compétence 2– interpréter la réalité sociale à l’aide de la méthode historique. Le ministère de l’Éducation du Québec et les écrits scientifiques (Côté, 2008; LENOIR et SAUVÉ, 2010; Turner-Bisset, 2001) s’attendent à ce que l’élève terminant ses études secondaires raisonne à partir de faits tirés des sources qui lui sont accessibles, notamment des sources primaires. Or, on constate trois lacunes dans la pratique enseignante : le petit nombre de sources travaillées, l’inégalité de leurs interprétations et la faiblesse de leurs critiques (Byrom, 2005; Pickles, 2010; Watson, 1998). Aussi, peu de cas utilisent la chanson comme source primaire. La séquence d’apprentissages sur la Deuxième Guerre mondiale que l’enseignante française Sylvaine Moreau (2012) a rendue disponible sur Internet a donc servi de point de départ à cette mise à l’essai afin de comprendre ce qu’il en est. Comme il y a un aller-retour régulier prévu entre l’adaptation du matériel pédagogique au contexte scolaire québécois et les observations en classe c’est la recherche-développement qui semble l’approche la plus efficace (Artigue, 1989; Harvey et Loiselle, 2009). Quatre enseignants montréalais ont accepté une entrevue avec l’auteure de cette recherche. Ils ont adapté le matériel au contexte scolaire, ils ont été observés en classe et les réponses écrites des élèves ont été analysées grâce, notamment, au programme N’Vivo. En explorant les données qualitatives recueillies, on constate le petit nombre de sources travaillées puisque les réponses ne reprennent que ce qui a été vu en classe, priorisant même certains types de sources. La faiblesse des critiques est criante puisque des étapes jugées « inutiles » par certains élèves sont laissées incomplètes. Finalement, l’auteure remarque l’inégalité des interprétations liée à une barrière de niveau de langue. Les métaphores et le vocabulaire de certaines chansons semblent un défi.

Learning representations for Information Retrieval

La recherche d'informations s'intéresse, entre autres, à répondre à des questions comme: est-ce qu'un document est pertinent à une requête ? Est-ce que deux requêtes ou deux documents sont similaires ? Comment la similarité entre deux requêtes ou documents peut être utilisée pour améliorer l'estimation de la pertinence ? Pour donner réponse à ces questions, il est nécessaire d'associer chaque document et requête à des représentations interprétables par ordinateur. Une fois ces représentations estimées, la similarité peut correspondre, par exemple, à une distance ou une divergence qui opère dans l'espace de représentation. On admet généralement que la qualité d'une représentation a un impact direct sur l'erreur d'estimation par rapport à la vraie pertinence, jugée par un humain. Estimer de bonnes représentations des documents et des requêtes a longtemps été un problème central de la recherche d'informations. Le but de cette thèse est de proposer des nouvelles méthodes pour estimer les représentations des documents et des requêtes, la relation de pertinence entre eux et ainsi modestement avancer l'état de l'art du domaine. Nous présentons quatre articles publiés dans des conférences internationales et un article publié dans un forum d'évaluation. Les deux premiers articles concernent des méthodes qui créent l'espace de représentation selon une connaissance à priori sur les caractéristiques qui sont importantes pour la tâche à accomplir. Ceux-ci nous amènent à présenter un nouveau modèle de recherche d'informations qui diffère des modèles existants sur le plan théorique et de l'efficacité expérimentale. Les deux derniers articles marquent un changement fondamental dans l'approche de construction des représentations. Ils bénéficient notamment de l'intérêt de recherche dont les techniques d'apprentissage profond par réseaux de neurones, ou deep learning, ont fait récemment l'objet. Ces modèles d'apprentissage élicitent automatiquement les caractéristiques importantes pour la tâche demandée à partir d'une quantité importante de données. Nous nous intéressons à la modélisation des relations sémantiques entre documents et requêtes ainsi qu'entre deux ou plusieurs requêtes. Ces derniers articles marquent les premières applications de l'apprentissage de représentations par réseaux de neurones à la recherche d'informations. Les modèles proposés ont aussi produit une performance améliorée sur des collections de test standard. Nos travaux nous mènent à la conclusion générale suivante: la performance en recherche d'informations pourrait drastiquement être améliorée en se basant sur les approches d'apprentissage de représentations.

Critique du modèle neurophysiologique de la desphinothérapie. Sonophorèse et écholocation

Un certain nombre de chercheurs (Birch, 1996; Cole, 1995, 1996; De Bergerac, 1998) fondent sur un modèle neurophysiologique leurs arguments en faveur de la delphinothérapie pour traiter divers désordres (DSM-IV) cognitifs et émotifs chez les enfants et les jeunes. Ce modèle recourt à des analogies avec les mécanismes de sonophorèse, d'écholocation et de transmission neurohormonale dans son application thérapeutique. Dans le but de démystifier les éléments pseudo-scientifiques auprès d'un lectorat non spécialisé, cet article critique les postulats et les implications relatifs à ces mécanismes et il conclut à l'absence d'un soutien pertinent et valide concernant ce modèle.

Émergence et développement de l’oncologie au Québec : collaboration, compétition et défis organisationnels, 1900-2005

Objectifs : le principal objectif de notre projet doctoral consiste à mettre en relief les transformations qui ont marqué le développement de l’oncologie et de la lutte contre le cancer au Québec au 20e siècle. Pour ce faire, nous nous sommes penchées sur trois niveaux d’analyse : 1) le niveau micro aborde l’organisation des services médicaux au sein d’une organisation hospitalière, soit l’Hôtel-Dieu de Québec. 2) Le niveau méso analyse une lutte professionnelle, soit la lutte entre les hématologues et les oncologues médicaux pour la reconnaissance de l’oncologie médicale. 3) Le niveau macro s’intéresse à l’organisation de la lutte contre le cancer à travers la province de Québec et aux différents modèles organisationnels créés. Principale hypothèse : l’émergence et la transformation de l’oncologie et de la lutte contre le cancer ont été influencées des rapports de collaboration et de compétition entre les acteurs impliqués en oncologie. En effet, il apparaît que ce champ se trouve en tension entre l’obligation de collaborer pour offrir des services de qualité aux patients et les dynamiques professionnelles et/ou organisationnelles. Cadre théorique : un cadre théorique a été développé pour chacun des niveaux d’analyse. Le niveau micro s’inspire des travaux de Frickel, Abbott et Strauss et s’intéresse plus particulièrement aux négociations entourant l’ordre social au sein d’un hôpital universitaire; le niveau méso emploie les travaux de Bourdieu et Abbott pour analyser la lutte entre deux spécialités médicales pour le contrôle des agents de chimiothérapie; et le niveau macro, de la sociologie des organisations et de la théorie néo-institutionnaliste pour mettre en relief l’émergence et la transformation de la lutte contre le cancer au Québec au 20e siècle. Méthodologie : l’approche de l’étude de cas a été adoptée et chaque niveau d’analyse constitue une étude de cas à part entière. Le corpus de données se compose de données archivistiques recueillies dans 10 centres d’archives canadiens, et de données d’entrevues. Une soixantaine d’entrevues avec des oncologues, des professionnels de la santé, des gestionnaires, des chercheurs et des fonctionnaires ont été réalisées. Conclusion : les différents niveaux d’analyse offrent différentes contributions qui leurs sont propres, mais l’ensemble de la thèse tend à mettre en relief la complexité du changement organisationnel à travers un perpétuel processus de définition et de redéfinition des frontières professionnelles et des organisations en raison du développement des connaissances scientifiques, des technologies, des expertises professionnelles et de l’environnement social, politique et économique.

Mesure de la performance dans les organisations de réadaptation en déficience physique

La présente thèse vise à évaluer le degré d’implantation et d’utilisation de systèmes de mesure de la performance (SMP) par les décideurs des organisations de réadaptation et à comprendre les facteurs contextuels ayant influencé leur implantation. Pour ce faire, une étude de cas multiples a été réalisée comprenant deux sources de données: des entrevues individuelles avec des cadres supérieurs des organisations de réadaptation du Québec et des documents organisationnels. Le cadre conceptuel Consolidated Framework for Implementation Research a été utilisé pour guider la collecte et l’analyse des données. Une analyse intra-cas ainsi qu’une analyse inter-cas ont été réalisées. Nos résultats montrent que le niveau de préparation organisationnelle à l’implantation d’un SMP était élevé et que les SMP ont été implantés avec succès et utilisés de plusieurs façons. Les organisations les ont utilisés de façon passive (comme outil d’information), de façon ciblée (pour tenter d’améliorer des domaines sous-performants) et de façon politique (comme outil de négociation auprès des autorités gouvernementales). Cette utilisation diversifiée des SMP est suscitée par l’interaction complexe de facteurs provenant du contexte interne propre à chaque organisation, des caractéristiques du SMP, du processus d’implantation appliqué et du contexte externe dans lequel évoluent ces organisations. Au niveau du contexte interne, l’engagement continu et le leadership de la haute direction ont été décisifs dans l’implantation du SMP de par leur influence sur l’identification du besoin d’un SMP, l’engagement des utilisateurs visés dans le projet, la priorité organisationnelle accordée au SMP ainsi que les ressources octroyées à son implantation, la qualité des communications et le climat d’apprentissage organisationnel. Toutefois, même si certains de ces facteurs, comme les ressources octroyées à l’implantation, la priorité organisationnelle du SMP et le climat d’apprentissage se sont révélés être des barrières à l’implantation, ultimement, ces barrières n’étaient pas suffisamment importantes pour entraver l’utilisation du SMP. Cette étude a également confirmé l’importance des caractéristiques du SMP, particulièrement la perception de qualité et d’utilité de l’information. Cependant, à elles seules, ces caractéristiques sont insuffisantes pour assurer le succès d’implantation. Cette analyse d’implantation a également révélé que, même si le processus d’implantation ne suit pas des étapes formelles, un plan de développement du SMP, la participation et l’engagement des décideurs ainsi que la désignation d’un responsable de projet ont tous facilité son implantation. Cependant, l’absence d’évaluation et de réflexion collective sur le processus d’implantation a limité le potentiel d’apprentissage organisationnel, un prérequis à l’amélioration de la performance. Quant au contexte externe, le soutien d’un organisme externe s’est avéré un facilitateur indispensable pour favoriser l’implantation de SMP par les organisations de réadaptation malgré l’absence de politiques et incitatifs gouvernementaux à cet effet. Cette étude contribue à accroître les connaissances sur les facteurs contextuels ainsi que sur leurs interactions dans l’utilisation d’innovations tels les SMP et confirme l’importance d’aborder l’analyse de l’implantation avec une perspective systémique.

Vers un modèle d'organisation autoformatrice : apports du concept de réciprocité à une perspective d'autonomisation en formation

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Organisational system and performance of post-disaster reconstruction projects

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Accélérer l'entraînement d'un modèle non-paramétrique de densité non normalisée par échantillonnage aléatoire

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Determination of software quality through a generic model

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Généralisation d'algorithmes de réduction de dimension

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Bimodal adaptive hypermedia and interactive multimedia a web-based learning environment based on Kolb's theory of learning style

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

MyHouse : un système de négociation multi-critères dans le commerce électronique, appliqué au domaine du courtage immobilier

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.