Algorithmes d’apprentissage profonds supervisés et non-supervisés: applications et résultats théoriques

La liste des domaines touchés par l’apprentissage machine s’allonge rapidement. Au fur et à mesure que la quantité de données disponibles augmente, le développement d’algorithmes d’apprentissage de plus en plus puissants est crucial. Ce mémoire est constitué de trois parties: d’abord un survol des concepts de bases de l’apprentissage automatique et les détails nécessaires pour l’entraînement de réseaux de neurones, modèles qui se livrent bien à des architectures profondes. Ensuite, le premier article présente une application de l’apprentissage machine aux jeux vidéos, puis une méthode de mesure performance pour ceux-ci en tant que politique de décision. Finalement, le deuxième article présente des résultats théoriques concernant l’entraînement d’architectures profondes nonsupervisées. Les jeux vidéos sont un domaine particulièrement fertile pour l’apprentissage automatique: il estf facile d’accumuler d’importantes quantités de données, et les applications ne manquent pas. La formation d’équipes selon un critère donné est une tˆache commune pour les jeux en lignes. Le premier article compare différents algorithmes d’apprentissage à des réseaux de neurones profonds appliqués à la prédiction de la balance d’un match. Ensuite nous présentons une méthode par simulation pour évaluer les modèles ainsi obtenus utilisés dans le cadre d’une politique de décision en ligne. Dans un deuxième temps nous présentons une nouvelleméthode pour entraîner des modèles génératifs. Des résultats théoriques nous indiquent qu’il est possible d’entraîner par rétropropagation des modèles non-supervisés pouvant générer des échantillons qui suivent la distribution des données. Ceci est un résultat pertinent dans le cadre de la récente littérature scientifique investiguant les propriétés des autoencodeurs comme modèles génératifs. Ces résultats sont supportés avec des expériences qualitatives préliminaires ainsi que quelques résultats quantitatifs.

La poétique pathique de Georges Bataille et de Pierre Klossowski

L’objectif de la thèse est de montrer en quoi le roman ou la littérature incarne une forme de connaissance qui lui est propre, que Pierre Klossowski appelle la « connaissance pathétique ». Celle-ci fait appel aux passions plutôt qu’à la seule raison et repose sur des percepts et des affects bien davantage que sur des idées et sur des concepts. L’œuvre romanesque de Georges Bataille et de Pierre Klossowski me servira d’exemple et d’objet d’analyse, dans la mesure où l’écriture fictionnelle y est toujours au service d’une ‘’passion’’ philosophique, dans laquelle l’auteur entraîne ses personnages en même temps que le lecteur. Cette « connaissance pathétique » que le sujet est amené à vivre passe notamment par les mécanismes d’une écriture qui tente d’énoncer l’innommable. Cette orientation esthétique suit la voie tracée par Nietzsche, et les grandes thématiques associées à ce dernier constituent à la fois, au niveau de l’énoncé, un contenu thématique et diégétique récurrent (par exemple : dans Le Baphomet, nous sommes en présence du personnage de Friedrich l’Antéchrist) et, au niveau de l’énonciation, une stratégie narrative qui consiste à piéger le lecteur dans un système d’interprétations ambiguës, contradictoires et provocatrices qui déclenchent chez lui une activité cognitive effrénée, de nature passionnelle ou pathétique (par exemple : Le récit Les lois de l’hospitalité commence par un avertissement au lecteur, où on le met en garde contre « l’attrape concertée » que représente le récit). J’étudierai en détail, sur le plan de l’expression et du contenu, ces stratégies cognitives de la transgression et du simulacre grâce auxquelles l’auteur amène ses personnages et son lecteur à éprouver des pensées comme une forme de passion. L’analyse de la poétique pathique comme forme privilégiée de l’écriture narrative chez Pierre Klossowski et chez Georges Bataille nécessitera le recours à une analyse de l’œuvre de Nietzsche et de Sade dans un premier temps pour retracer ce qui est l’enjeu de la réception de ces œuvres par les deux auteurs français. Dans un deuxième temps, l’analyse des œuvres de Georges Bataille et de Pierre Klossowski me permettra de comprendre comment elles déclenchent chez le lecteur une expérience pathétique où la difficulté d’atteindre à une connaissance rationnelle univoque déclenche chez le destinataire du texte une activité cognitive complexe de nature proprement littéraire ou romanesque. Enfin, le corpus qui me servira d’exemple dans la description de ces phénomènes sera constitué des principales œuvres discursives de Bataille et de Klossowski (L’expérience intérieure, Nietzsche et le cercle vicieux) ainsi que de leurs œuvres romanesques (L’histoire de l’œil, Divinus Deus, L’abbé C., La vocation suspendue, Les lois de l’hospitalité et Le Baphomet).

Génération de résumés par abstraction

Cette thèse présente le résultat de plusieurs années de recherche dans le domaine de la génération automatique de résumés. Trois contributions majeures, présentées sous la forme d'articles publiés ou soumis pour publication, en forment le coeur. Elles retracent un cheminement qui part des méthodes par extraction en résumé jusqu'aux méthodes par abstraction. L'expérience HexTac, sujet du premier article, a d'abord été menée pour évaluer le niveau de performance des êtres humains dans la rédaction de résumés par extraction de phrases. Les résultats montrent un écart important entre la performance humaine sous la contrainte d'extraire des phrases du texte source par rapport à la rédaction de résumés sans contrainte. Cette limite à la rédaction de résumés par extraction de phrases, observée empiriquement, démontre l'intérêt de développer d'autres approches automatiques pour le résumé. Nous avons ensuite développé un premier système selon l'approche Fully Abstractive Summarization, qui se situe dans la catégorie des approches semi-extractives, comme la compression de phrases et la fusion de phrases. Le développement et l'évaluation du système, décrits dans le second article, ont permis de constater le grand défi de générer un résumé facile à lire sans faire de l'extraction de phrases. Dans cette approche, le niveau de compréhension du contenu du texte source demeure insuffisant pour guider le processus de sélection du contenu pour le résumé, comme dans les approches par extraction de phrases. Enfin, l'approche par abstraction basée sur des connaissances nommée K-BABS est proposée dans un troisième article. Un repérage des éléments d'information pertinents est effectué, menant directement à la génération de phrases pour le résumé. Cette approche a été implémentée dans le système ABSUM, qui produit des résumés très courts mais riches en contenu. Ils ont été évalués selon les standards d'aujourd'hui et cette évaluation montre que des résumés hybrides formés à la fois de la sortie d'ABSUM et de phrases extraites ont un contenu informatif significativement plus élevé qu'un système provenant de l'état de l'art en extraction de phrases.

Chorégraphier le son

La version intégrale de ce mémoire est disponible uniquement pour consultation individuelle à la bibliothèque de musique de l'Université de Montréal (www.bib.umontreal.ca/MU).

Alignement de phrases parallèles dans des corpus bruités

La traduction statistique requiert des corpus parallèles en grande quantité. L’obtention de tels corpus passe par l’alignement automatique au niveau des phrases. L’alignement des corpus parallèles a reçu beaucoup d’attention dans les années quatre vingt et cette étape est considérée comme résolue par la communauté. Nous montrons dans notre mémoire que ce n’est pas le cas et proposons un nouvel aligneur que nous comparons à des algorithmes à l’état de l’art. Notre aligneur est simple, rapide et permet d’aligner une très grande quantité de données. Il produit des résultats souvent meilleurs que ceux produits par les aligneurs les plus élaborés. Nous analysons la robustesse de notre aligneur en fonction du genre des textes à aligner et du bruit qu’ils contiennent. Pour cela, nos expériences se décomposent en deux grandes parties. Dans la première partie, nous travaillons sur le corpus BAF où nous mesurons la qualité d’alignement produit en fonction du bruit qui atteint les 60%. Dans la deuxième partie, nous travaillons sur le corpus EuroParl où nous revisitons la procédure d’alignement avec laquelle le corpus Europarl a été préparé et montrons que de meilleures performances au niveau des systèmes de traduction statistique peuvent être obtenues en utilisant notre aligneur.

JSreal : un réalisateur de texte pour la programmation web

Site web associé au mémoire: http://daou.st/JSreal

La Parenthèse ; suivi de Tensions et enfermement dans les Cent Vingt Journées de Sodome du marquis de Sade

Ce mémoire en recherche-création explore l’enfermement volontaire et les différents types de tensions qu’il provoque. Court roman prenant la forme du journal intime, La Parenthèse met en scène un jeune homme qui décide de s’enfermer chez lui une semaine durant et s’interdit tout contact avec l’extérieur – autant pour prendre un congé temporaire de la vie qu’il mène que pour examiner les raisons de sa détresse quotidienne. Le monologue intérieur se transforme rapidement en dialogue, dès lors qu’un double vindicatif, interrompant la voix principale par des « répliques » entre parenthèses, fait son apparition. Une relation houleuse – sous tension – se tisse entre ces deux facettes du personnage tout au long des sept jours de la réclusion, les passages de dispute alternant avec des récits de souvenirs. En somme, le roman tente de dramatiser la question de l’emprisonnement de soi-même et de la limitation de l’écriture, cette limitation pouvant être à la fois malsaine et libératrice. Quant à l’essai, Tensions et enfermement dans les Cent Vingt Journées de Sodome du marquis de Sade, il part du thème de l’enfermement (en l’occurrence, celui des quatre amis qui exécutent le projet de passer quatre mois dans un château isolé) pour postuler une « architecture du désir » dans Les Cent Vingt Journées de Sodome. L’essai mobilise les ressources de la narratologie en prenant en compte les effets du texte sur le lecteur ; sont ainsi mises en évidence les tensions – sexuelle pour les protagonistes, narrative pour le lecteur – élaborées par cette écriture de l’enfermement et de la contrainte, dans laquelle le désir est toujours maintenu mais rarement satisfait.

L'enchaînement de phrases par coordination et par subordination à l'écrit chez les élèves de première secondaire : mise à l'essai d'une séquence didactique

Ce mémoire de maîtrise propose une séquence didactique travaillant l’enchaînement de phrases par subordination et coordination en vue de favoriser le transfert de connaissances grammaticales en situation de production écrite. Nous avons d’abord fait ressortir que les élèves apprennent et revoient diverses règles de grammaire, mais qu’ils ont une grande difficulté à transférer ces connaissances en contexte d’écriture. Plusieurs chercheurs soulignent la pertinence de décloisonner l’enseignement de la grammaire et de l’écriture (Paret, 1992; Chartrand, 2003; Bilodeau, 2005) pour favoriser le transfert, notamment au moyen de la démarche active de découverte (Chartrand, 1996). Nous nous sommes intéressée à la syntaxe de la phrase, plus précisément à la construction de phrases complexes par enchaînement. Nous considérons les notions grammaticales qui en découlent difficiles pour plusieurs élèves et nous constatons que cet enseignement se fait peu fréquemment et souvent de manière magistrale, sans travailler l’écriture en parallèle. Nous avons donc élaboré une séquence didactique travaillant ces concepts grammaticaux, tout en ayant en tête de favoriser le transfert des notions grammaticales vers un contexte d’écriture. Nous avons ensuite mis à l’essai cette séquence dans un groupe de première secondaire et avons vérifié son efficacité à l’aide d’un prétest et d’un posttest (production écrite). Nous avons pu constater que la séquence didactique expérimentée dans le cadre de ce mémoire produit de bons résultats. Il y a une amélioration notable dans les enchaînements de phrases dans les textes produits par les élèves. Par contre, nous n’avons pas pu conclure que ceux-ci étaient significatifs d’un point de vue statistique. La séquence didactique semble toutefois aider les élèves, même les plus faibles, puisque les entretiens métagraphiques montrent qu’ils ont meilleure compréhension des enchaînements de phrases.

Histoire(s) et historiographie du cinéma en France : 1896-1953

Thèse de doctorat effectuée en cotutelle au Département d’histoire de l’art et d’études cinématographiques de la Faculté des arts et des sciences de l'Université de Montréal et à la Section d’histoire et esthétique du cinéma de la Faculté des lettres de l'Université de Lausanne.

Projection multilingue d'annotations pour dialogues avancés

Depuis quelques années, les applications intégrant un module de dialogues avancés sont en plein essor. En revanche, le processus d’universalisation de ces systèmes est rapidement décourageant : ceux-ci étant naturellement dépendants de la langue pour laquelle ils ont été conçus, chaque nouveau langage à intégrer requiert son propre temps de développement. Un constat qui ne s’améliore pas en considérant que la qualité est souvent tributaire de la taille de l’ensemble d’entraînement. Ce projet cherche donc à accélérer le processus. Il rend compte de différentes méthodes permettant de générer des versions polyglottes d’un premier système fonctionnel, à l’aide de la traduction statistique. L’information afférente aux données sources est projetée afin de générer des données cibles parentes, qui diminuent d’autant le temps de développement subséquent. En ce sens, plusieurs approches ont été expérimentées et analysées. Notamment, une méthode qui regroupe les données avant de réordonner les différents candidats de traduction permet d’obtenir de bons résultats.

Contraintes et conditions d’émergence de l’engagement des jeunes en situation de marginalité

Cette recherche doctorale vise à comprendre et interpréter les conditions d’émergence d’un engagement chez des jeunes en situation de marginalité. Des études ont montré que cette situation peut-être un frein important à l’engagement, en raison d’un manque de ressources personnelles, organisationnelles, ou culturelles. Généralement, on a tendance à insister sur le fait que « les jeunes » ne veulent plus militer. Pourtant, d’importantes actions collectives (mouvements étudiants ou communautaires) ou initiatives citoyennes personnelles (écriture de blogues ou signature de pétitions) viennent contredire cette affirmation. En fait, certaines prises de position, dans la sphère privée notamment, échappent à toute analyse classique et sont prises pour un non-engagement, de l’individualisme voire de l’apathie. À partir d’une approche qualitative, exploratoire et interprétative, le dispositif méthodologique de cette thèse privilégie l’observation participante et les entretiens de groupe afin de recueillir le point de vue des jeunes et d’observer un certain nombre d’actions collectives. C’est par le truchement d’organismes communautaires de jeunesse (OCJ) montréalais qu’une centaine de jeunes ont été rencontrés, de septembre 2010 à décembre 2011. L’analyse itérative du corpus de données s’est inspirée des principes de la théorisation ancrée (grounded theory). Un premier niveau d’analyse descriptive a permis de mettre en exergue les contraintes et les conditions d’émergence de l’engagement ainsi que les performances des jeunes en situation de marginalité. Les différentes formes d’engagement ont ensuite été explorées puis mises en perspective dans différents espaces : « original », « intermédiaire » et « négatif ». L’espace original correspond, dans cette thèse, aux moyens d’actions traditionnels (vote, militantisme politique). Nos résultats montrent que le positionnement des jeunes dans ce cadre est très tranché. En fait, non seulement ces modes d’actions émergent rarement mais, s’ils existent, sont le plus souvent soutenus par des intervenants. Dans un autre espace, les jeunes développent parfois des postures particulières, plus radicales ou, au contraire, des postures de retrait, de non-engagement. Cela se rapporte à ce qu’il conviendrait d’appeler l’espace négatif. Dans ce cas, les contraintes de la situation de marginalité poussent certains jeunes à mettre à distance l’engagement et à se situer aux marges des espaces de participation. L’opposition à toutes formes traditionnelles d’engagement amène des jeunes à envisager des moyens d’action plus radicaux que l’on peut également circonscrire dans cet espace négatif. On trouve au final une tout autre dynamique selon laquelle des jeunes prennent position au sein de ce que l’on a appelé l’espace intermédiaire. Les territoires et les modes d’action sont alors aussi éclectiques que la rue, l’entourage personnel, ou la création artistique underground. Si les rapports à l’engagement des jeunes rencontrés sont complexes, parfois ambivalents, ils révèlent toutefois la recherche d’une alternative, la construction de modes d’action particuliers. Une analyse dynamique des contraintes et des conditions d’émergence de l’engagement des jeunes en difficulté montre que leurs prises de position dépassent la simple dialectique engagement/non-engagement. Ainsi, ce que l’on pourrait appeler un « alter-engagement » se dessine à travers les prises de position de ces jeunes, particulièrement au sein de l’espace intermédiaire. Ce concept est développé pour mettre en évidence les formes d’engagement plus intimes, plus communautaires ou plus artistiques. L’alter-engagement se définit alors comme une forme de prise de position critique, impolitique, en réaction à la fois à l’engagement traditionnel, à une posture de retrait et à une posture plus radicale.

Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

La vie des autres. Sophie Calle et Annie Ernaux, artistes hors-la-loi

Cette thèse porte sur les transgressions discursives, esthétiques et sociales de la frontière entre la vie privée et la vie publique effectuées par les créatrices françaises contemporaines Sophie Calle et Annie Ernaux. Dans une perspective féministe qui s’appuie sur les théories du quotidien, la thèse pose les questions suivantes : quelles libertés peut se permettre la femme-artiste ou l’écrivaine aujourd’hui ? Où, comment, et par qui se dessinent les limites éthiques de la création ? À la lumière des représentations souvent stéréotypées de la femme criminelle, le premier chapitre dégage de la réception des œuvres de Calle et d’Ernaux les « crimes » – entre autres, d’obscénité, d’impudeur et d’indécence – dont elles ont été accusées par la critique. Les trois chapitres suivants ciblent les diverses manières subversives et innovatrices dont Calle et Ernaux déjouent les perceptions acceptées de la féminité pour s’assurer la liberté totale en création : elles se construisent en flâneuses maniant la photographie ou l’écriture photographique comme une arme, en amoureuses blessées qui se vengent de leurs amants, et en théoriciennes manipulant les modalités de leur propre inscription dans les canons littéraires et artistiques. Cette thèse analyse au fil des chapitres les échos des œuvres de Calle et d’Ernaux au plan social, insistant sur le rapport fécond qui existe entre l’œuvre d’art et son cadre, interrogeant l’ethos de l’artiste et celui de l’art. Sophie Calle et Annie Ernaux répondent avec force à la nécessité de se positionner autrement face à l’art en tant que femme, notamment, en proposant l’art et l’écriture comme hors la loi. La conclusion étudie dans cette optique le phénomène récent de la « judiciarisation » de l’art. En examinant certains procès intentés depuis 2010 à des artistes, des écrivaines, des commissaires d’exposition et des maisons d’édition françaises, cette thèse questionne finalement les risques et les violences de la représentation tels qu’ils sont désignés par la loi.

Le potentiel musical des analyses sonores et autres phénomènes vibratoires

La version intégrale de cette thèse est disponible uniquement pour consultation individuelle à la Bibliothèque de l'Université de Montréal (www.bib.umontreal.ca/MU).

Les décisions rendues par les arbitres de griefs dans les cas de sanctions visant des policiers ayant eu des démêlés judiciaires

L’objet de cette étude porte sur la détermination de la sanction à imposer aux policiers ayant été reconnus coupables d’infractions criminelles, sur l’influence de l’article 18.2 de la Charte des droits et libertés de la personne dans cette détermination et sur les méthodes utilisées dans la jurisprudence arbitrale. Deux méthodes de détermination des sanctions s’opposent sur ce sujet, soit la méthode « large et libérale » et la méthode « stricte et littérale ». La méthode de détermination des sanctions « large et libérale » prévoit, entre autres, l’application de l’article 18.2 de la Charte des droits et libertés de la personne. Cette loi est de niveau quasi constitutionnel et prévoit, notamment, l’analyse objective du lien existant entre l’emploi de policier et l’infraction criminelle commise. Quant à la méthode de détermination des sanctions « stricte et littérale », elle résulte de l’application de la Loi sur la police qui est une loi ordinaire prévoyant un régime particulier pour les policiers reconnus coupables d’infractions criminelles. En effet, l’article 119 de la Loi sur la police implique, depuis son remaniement en 2000, la destitution automatique des policiers reconnus coupables d’une infraction criminelle poursuivable uniquement par voie de mise en accusation et la destitution des policiers reconnus coupables d’une infraction criminelle poursuivable soit sur déclaration de culpabilité par procédure sommaire, soit par voie de mise en accusation à moins que le policier ne puisse démontrer que des circonstances particulières ne justifient une mesure différente que la destitution. L’analyse réalisée dans le cadre de cette recherche vise la détermination des sanctions guidant les décisions des arbitres de griefs quant à la situation des policiers accusés et/ou reconnus coupables d’infractions criminelles en cours d’emploi. À cet effet, 25 décisions arbitrales et leurs révisions judiciaires ont été étudiées selon l’analyse de contenu à l’aide d’une grille d’analyse. L’analyse des données obtenues a par la suite été réalisée par l’entremise de l’analyse qualitative.