Distributed Diverging Topic Models: A Novel Algorithm for Large Scale Topic Modeling in Spark

Thesis (Master's)--University of Washington, 2014

Learning domain-specific sentiment lexicons with applications to recommender systems

Search is now going beyond looking for factual information, and people wish to search for the opinions of others to help them in their own decision-making. Sentiment expressions or opinion expressions are used by users to express their opinion and embody important pieces of information, particularly in online commerce. The main problem that the present dissertation addresses is how to model text to find meaningful words that express a sentiment. In this context, I investigate the viability of automatically generating a sentiment lexicon for opinion retrieval and sentiment classification applications. For this research objective we propose to capture sentiment words that are derived from online users’ reviews. In this approach, we tackle a major challenge in sentiment analysis which is the detection of words that express subjective preference and domain-specific sentiment words such as jargon. To this aim we present a fully generative method that automatically learns a domain-specific lexicon and is fully independent of external sources. Sentiment lexicons can be applied in a broad set of applications, however popular recommendation algorithms have somehow been disconnected from sentiment analysis. Therefore, we present a study that explores the viability of applying sentiment analysis techniques to infer ratings in a recommendation algorithm. Furthermore, entities’ reputation is intrinsically associated with sentiment words that have a positive or negative relation with those entities. Hence, is provided a study that observes the viability of using a domain-specific lexicon to compute entities reputation. Finally, a recommendation system algorithm is improved with the use of sentiment-based ratings and entities reputation.

Teachers' processes of negotiating meaning of new curriculum

This qualitative study addresses the question of how teachers negotiate meaning of new curriculum to better understand how curriculum is transformed from a theoretical construct to a practical one. Through interviews with 5 teachers, their experiences were examined as they negotiated the process of implementing new curriculum. Three theoretical constructs provided the entry point into the study: epistemology, teacher knowledge, and teacher learning. Using inductive analysis, 4 points or attributes of negotiation emerged: reference, growth, autonomy, and reconciliation. These attributes provided a theoretical framework from which a constructivist conceptualization of teacher learning and teacher knowledge could serve to understand the process of how teachers negotiate meaning of curriculum. Studied and theorized in this way, teacher knowledge and teacher learning are seen to be inextricably linked in a relationship that is dynamically changed by forces of stability and instability. Theorizing the negotiation of meaning from a constructivist epistemology also strengthened the assertion that negotiating meaning is a unique structural process, and that knowledge construction is therefore unique to each knower and subject to experience in a particular time and place. The implications for such a theory are, first, that it questions the legitimacy of privatized teacher practice and, second, that it calls for a renewed conceptualization of collegial network and relationship to strengthen the capacity for negotiating meaning of curricular initiatives. Understanding the relationship of curricular theory and negotiating meaning also has implications for curriculum development. In particular, the study highlights the necessity of professional discretion and the generative process of negotiating meaning.

Le recours à des environnements numériques pour la diffusion de connaissances relatives au patrimoine bâti: une exploration du potentiel de la modélisation de systèmes typologiques

Un fichier intitulé Charbonneau_Nathalie_2008_AnimationAnnexeT accompagne la thèse. Il contient une séquence animée démontrant le type de parcours pouvant être effectué au sein des environnements numériques développés. Il s'agit d'un fichier .wmv qui a été compressé.

Assistance de l’enseignement de la conception architecturale par la modélisation de savoir-faire des référents

Dans une époque de changements des moyens de représentation et communication en architecture, cette recherche porte sur l’enseignement de la conception architecturale et plus spécifiquement sur l’apport que l’informatique pourrait avoir dans ce processus. En nous basant sur une méthodologie qualitative, exploratoire et participative, nous y procédons par enchainement de questions, celle de départ étant la suivante: Comment l’enseignement de la conception architecturale pourrait tirer avantage des moyens numériques? Notre objectif est de proposer des méthodes et des outils d’apprentissage aux étudiants en architecture pour enrichir leurs démarches de conception grâce à l’ordinateur. Après une revue de la littérature dans le domaine, et un approfondissement de l’étude sur le rôle des référents architecturaux et sur la conception intégrée, nous avons procédé à une observation exploratoire du travail des étudiants en atelier d’architecture. Ces premières étapes de la recherche ont permis de dégager des discordances entre les positions théoriques et la pratique en l’atelier, pour concrétiser ultérieurement la question de recherche. Dans le but de discerner des méthodes efficaces et innovatrices pour répondre aux discordances identifiées, nous avons engagé une étude de la littérature sur les théories cognitives par rapport aux connaissances, l’apprentissage et la conception. Certaines stratégies ont pu être définies, notamment la nécessité de représentation multimodale des référents architecturaux, l’importance de représenter le processus et non seulement le résultat, ainsi que l’avantage d’inciter les étudiants à travailler dans leur ‘zone proximale’ de développement. Suite à ces recherches, une méthode d’enseignement complémentaire a été définie. Elle propose aux étudiants des explorations de l’objet en conception basées sur la manipulation des savoir-faire architecturaux. Cette méthode a été opérationnalisée d’un point de vue pédagogique ainsi que didactique et mise à l’épreuve auprès des étudiants en atelier. Un prototype de librairie de référents architecturaux interactifs (LibReArchI) a été créé dans ce but. Elle a été conçue en tant qu’environnement de conception et espace de partage de savoir-faire entre étudiants et enseignants. Les principaux résultats de cette recherche démontrent le rôle positif de la méthode proposée pour le transfert des savoir-faire architecturaux lors de l’apprentissage en atelier. Son potentiel d’assister la conception intégrée et de stimuler l’émergence d’idées a été constaté. Au niveau théorique, un modèle d’un cycle du processus de design avec le numérique a été esquissé. En conclusion, des avenues de développements futurs de cette recherche sont proposées.

Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Apprentissage de représentations sur-complètes par entraînement d’auto-encodeurs

Les avancés dans le domaine de l’intelligence artificielle, permettent à des systèmes informatiques de résoudre des tâches de plus en plus complexes liées par exemple à la vision, à la compréhension de signaux sonores ou au traitement de la langue. Parmi les modèles existants, on retrouve les Réseaux de Neurones Artificiels (RNA), dont la popularité a fait un grand bond en avant avec la découverte de Hinton et al. [22], soit l’utilisation de Machines de Boltzmann Restreintes (RBM) pour un pré-entraînement non-supervisé couche après couche, facilitant grandement l’entraînement supervisé du réseau à plusieurs couches cachées (DBN), entraînement qui s’avérait jusqu’alors très difficile à réussir. Depuis cette découverte, des chercheurs ont étudié l’efficacité de nouvelles stratégies de pré-entraînement, telles que l’empilement d’auto-encodeurs traditionnels(SAE) [5, 38], et l’empilement d’auto-encodeur débruiteur (SDAE) [44]. C’est dans ce contexte qu’a débuté la présente étude. Après un bref passage en revue des notions de base du domaine de l’apprentissage machine et des méthodes de pré-entraînement employées jusqu’à présent avec les modules RBM, AE et DAE, nous avons approfondi notre compréhension du pré-entraînement de type SDAE, exploré ses différentes propriétés et étudié des variantes de SDAE comme stratégie d’initialisation d’architecture profonde. Nous avons ainsi pu, entre autres choses, mettre en lumière l’influence du niveau de bruit, du nombre de couches et du nombre d’unités cachées sur l’erreur de généralisation du SDAE. Nous avons constaté une amélioration de la performance sur la tâche supervisée avec l’utilisation des bruits poivre et sel (PS) et gaussien (GS), bruits s’avérant mieux justifiés que celui utilisé jusqu’à présent, soit le masque à zéro (MN). De plus, nous avons démontré que la performance profitait d’une emphase imposée sur la reconstruction des données corrompues durant l’entraînement des différents DAE. Nos travaux ont aussi permis de révéler que le DAE était en mesure d’apprendre, sur des images naturelles, des filtres semblables à ceux retrouvés dans les cellules V1 du cortex visuel, soit des filtres détecteurs de bordures. Nous aurons par ailleurs pu montrer que les représentations apprises du SDAE, composées des caractéristiques ainsi extraites, s’avéraient fort utiles à l’apprentissage d’une machine à vecteurs de support (SVM) linéaire ou à noyau gaussien, améliorant grandement sa performance de généralisation. Aussi, nous aurons observé que similairement au DBN, et contrairement au SAE, le SDAE possédait une bonne capacité en tant que modèle générateur. Nous avons également ouvert la porte à de nouvelles stratégies de pré-entraînement et découvert le potentiel de l’une d’entre elles, soit l’empilement d’auto-encodeurs rebruiteurs (SRAE).

Génération et reconnaissance de rythmes au moyen de réseaux de neurones à réservoir

Les fichiers sons qui accompagne mon document sont au format midi. Le programme que nous avons développés pour ce travail est en language Python.

Patrons de distribution des crustacés planctoniques dans le fleuve Saint-Laurent

La recherche porte sur les patrons de distribution longitudinale (amont-aval) et transversale (rive nord - rive sud) des communautés de crustacés planctoniques qui ont été analysés le long du fleuve Saint-Laurent entre le lac Saint-François et la zone de transition estuarienne, à deux hydropériodes en mai (crue) et en août (étiage). Les données zooplanctoniques et environnementales ont été récoltées à 52 stations réparties sur 16 transects transversaux en 2006. Au chapitre 1, nous présentons les principaux modèles écosystémiques en rivière, une synthèse des facteurs influençant le zooplancton en rivières et les objectifs et hypothèses de recherche. Au chapitre 2, nous décrivons la structure des communautés de zooplancton dans trois zones biogéographiques du fleuve et 6 habitats longitudinaux, ainsi que les relations entre la structure du zooplancton et la distribution spatiale des masses d’eau et les variables environnementales. Au chapitre 3, nous réalisons une partition de la variation des variables spatiales AEM (basées sur la distribution des masses d’eau) et des variables environnementales pour évaluer quelle part de la variation du zooplancton est expliquée par les processus hydrologiques (variables AEM) et les conditions locales (facteurs environnementaux). Le gradient salinité-conductivité relié à la discontinuité fleuve-estuaire a déterminé la distribution à grande échelle du zooplancton. Dans les zones fluviales, la distribution du zooplancton est davantage influencée par la distribution des masses d’eau que par les facteurs environnementaux locaux. La distribution des masses d’eau explique une plus grande partie de la variation dans la distribution du zooplancton en août qu’en mai.

Algorithmes d’apprentissage profonds supervisés et non-supervisés: applications et résultats théoriques

La liste des domaines touchés par l’apprentissage machine s’allonge rapidement. Au fur et à mesure que la quantité de données disponibles augmente, le développement d’algorithmes d’apprentissage de plus en plus puissants est crucial. Ce mémoire est constitué de trois parties: d’abord un survol des concepts de bases de l’apprentissage automatique et les détails nécessaires pour l’entraînement de réseaux de neurones, modèles qui se livrent bien à des architectures profondes. Ensuite, le premier article présente une application de l’apprentissage machine aux jeux vidéos, puis une méthode de mesure performance pour ceux-ci en tant que politique de décision. Finalement, le deuxième article présente des résultats théoriques concernant l’entraînement d’architectures profondes nonsupervisées. Les jeux vidéos sont un domaine particulièrement fertile pour l’apprentissage automatique: il estf facile d’accumuler d’importantes quantités de données, et les applications ne manquent pas. La formation d’équipes selon un critère donné est une tˆache commune pour les jeux en lignes. Le premier article compare différents algorithmes d’apprentissage à des réseaux de neurones profonds appliqués à la prédiction de la balance d’un match. Ensuite nous présentons une méthode par simulation pour évaluer les modèles ainsi obtenus utilisés dans le cadre d’une politique de décision en ligne. Dans un deuxième temps nous présentons une nouvelleméthode pour entraîner des modèles génératifs. Des résultats théoriques nous indiquent qu’il est possible d’entraîner par rétropropagation des modèles non-supervisés pouvant générer des échantillons qui suivent la distribution des données. Ceci est un résultat pertinent dans le cadre de la récente littérature scientifique investiguant les propriétés des autoencodeurs comme modèles génératifs. Ces résultats sont supportés avec des expériences qualitatives préliminaires ainsi que quelques résultats quantitatifs.

La voix et le bruit, processus et parcours de création de mes œuvres.

La version intégrale de ce mémoire [ou de cette thèse] est disponible uniquement pour consultation individuelle à la Bibliothèque de musique de l’Université de Montréal (www.bib.umontreal.ca/MU)

Modeling High-Dimensional Audio Sequences with Recurrent Neural Networks

Cette thèse étudie des modèles de séquences de haute dimension basés sur des réseaux de neurones récurrents (RNN) et leur application à la musique et à la parole. Bien qu'en principe les RNN puissent représenter les dépendances à long terme et la dynamique temporelle complexe propres aux séquences d'intérêt comme la vidéo, l'audio et la langue naturelle, ceux-ci n'ont pas été utilisés à leur plein potentiel depuis leur introduction par Rumelhart et al. (1986a) en raison de la difficulté de les entraîner efficacement par descente de gradient. Récemment, l'application fructueuse de l'optimisation Hessian-free et d'autres techniques d'entraînement avancées ont entraîné la recrudescence de leur utilisation dans plusieurs systèmes de l'état de l'art. Le travail de cette thèse prend part à ce développement. L'idée centrale consiste à exploiter la flexibilité des RNN pour apprendre une description probabiliste de séquences de symboles, c'est-à-dire une information de haut niveau associée aux signaux observés, qui en retour pourra servir d'à priori pour améliorer la précision de la recherche d'information. Par exemple, en modélisant l'évolution de groupes de notes dans la musique polyphonique, d'accords dans une progression harmonique, de phonèmes dans un énoncé oral ou encore de sources individuelles dans un mélange audio, nous pouvons améliorer significativement les méthodes de transcription polyphonique, de reconnaissance d'accords, de reconnaissance de la parole et de séparation de sources audio respectivement. L'application pratique de nos modèles à ces tâches est détaillée dans les quatre derniers articles présentés dans cette thèse. Dans le premier article, nous remplaçons la couche de sortie d'un RNN par des machines de Boltzmann restreintes conditionnelles pour décrire des distributions de sortie multimodales beaucoup plus riches. Dans le deuxième article, nous évaluons et proposons des méthodes avancées pour entraîner les RNN. Dans les quatre derniers articles, nous examinons différentes façons de combiner nos modèles symboliques à des réseaux profonds et à la factorisation matricielle non-négative, notamment par des produits d'experts, des architectures entrée/sortie et des cadres génératifs généralisant les modèles de Markov cachés. Nous proposons et analysons également des méthodes d'inférence efficaces pour ces modèles, telles la recherche vorace chronologique, la recherche en faisceau à haute dimension, la recherche en faisceau élagué et la descente de gradient. Finalement, nous abordons les questions de l'étiquette biaisée, du maître imposant, du lissage temporel, de la régularisation et du pré-entraînement.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Drawing in the margins : identity and subjectivity in contemporary autobiographical comics

Mon projet de thèse démontre comment le genre de la bande dessinée peut être mobilisé de façon à déstabiliser les idéologies identitaires dominantes dans un contexte autobiographique. À partir de théories contemporaines de récits de vie et de leurs emphase sur la construction du sujet au travers du processus autobiographique, j’explore les façons par lesquelles les propriétés formelles de la bande dessinée permettent aux artistes féminines et minoritaires d’affirmer leurs subjectivités et de s’opposer aux idéaux hégémoniques reliés à la représentation du genre, du traumatisme, de la sexualité, de l’ethnicité, et du handicap, en s’auto-incarnant à même la page de bande dessinée. Par une analyse visuelle formelle, ma thèse prouve que les esthétiques hyper-personnelles du dessin à la main découlant d’une forme ancrée dans l’instabilité générique et le (re)mixage continu des codes verbaux et visuels permettent aux artistes de déstabiliser les régimes de représentation conventionnels dans une danse complexe d’appropriation et de resignification qui demeure toujours ouverte à la création de nouveaux sens. Suite à l’introduction, mon second chapitre explique la résistance de Julie Doucet par rapport aux plaisirs visuels découlant de la contemplation des femmes dans la bande dessinée par son utilisation du concept originairement misogyne de la matérialité féminine grotesque comme principe génératif à partir duquel elle articule une critique de la forme et du contenu des représentations normatives et restrictives du corps féminin. Le troisième chapitre considère la capacité de la bande dessinée à représenter le traumatisme, et se penche sur les efforts de Phoebe Gloeckner visant à faire face aux abus sexuels de son enfance par l’entremise d’un retour récursif sur des souvenirs visuels fondamentaux. Le chapitre suivant maintient que la nature sérielle de la bande dessinée, sa multimodalité et son association à la culture zine, fournissent à Ariel Schrag les outils nécessaires pour expérimenter sur les codes visuels et verbaux de façon à décrire et à affirmer le sens identitaire en flux de l’adolescent queer dans sa quadrilogie expérimentale Künstlerroman. Le cinquième chapitre suggère que l’artiste de provenance Libanaise Toufic El Rassi utilise la forme visuelle pour dénoncer les mécanismes générateurs de préjugés anti-Arabes, et qu’il affirme son identité grâce au pouvoir de rhétorique temporaire que lui procure l’incarnation d’un stéréotype connu. Mon dernier chapitre démontre comment Al Davison emploie la bande dessinée pour mettre en scène des rencontres d’observations dynamiques avec le spectateur implicite pouvant potentiellement aider l’auteur à éviter le regard objectivant généralement associé à la perception du handicap.

L’affect de dégoût dans une perspective transmédiale : le cas de The walking dead

Lorsque l’on s’intéresse au dégoût comme forme d’affect, on remarque que son application abonde au niveau des études cinématographiques et des arts visuels. Par contre, peu de chercheurs se sont intéressés à son analyse à travers les médias dont l’institutionnalisation académique est plus récente, comme la bande dessinée, la télésérie et le jeu vidéo. Ce mémoire a pour objectif d’étendre la pratique des études du dégoût comme affect sur ces médias, en s’attardant sur l’analyse de certaines composantes de la franchise transmédiatique The Walking Dead. De plus, comme ce corpus est marqué par une transmédialité qui dépasse les simples récurrences narratives, ce mémoire veut également produire un modèle d’analyse capable de déceler les structures génératives du dégoût qui tendent à migrer ou être partagées entre les médias de la franchise. Ce modèle sera conçu dans un premier temps par l’établissement d’un dialogue entre les études de l’affect appliquées au cinéma et aux arts visuels et les études sur l’intermédialité. La fonctionnalité de ce modèle sera ensuite testée à travers son application sur la bande dessinée, la télésérie et l’un des jeux vidéo de la franchise The Walking Dead.