Apprentissage de représentations musicales à l'aide d'architectures profondes et multiéchelles

L'apprentissage machine (AM) est un outil important dans le domaine de la recherche d'information musicale (Music Information Retrieval ou MIR). De nombreuses tâches de MIR peuvent être résolues en entraînant un classifieur sur un ensemble de caractéristiques. Pour les tâches de MIR se basant sur l'audio musical, il est possible d'extraire de l'audio les caractéristiques pertinentes à l'aide de méthodes traitement de signal. Toutefois, certains aspects musicaux sont difficiles à extraire à l'aide de simples heuristiques. Afin d'obtenir des caractéristiques plus riches, il est possible d'utiliser l'AM pour apprendre une représentation musicale à partir de l'audio. Ces caractéristiques apprises permettent souvent d'améliorer la performance sur une tâche de MIR donnée. Afin d'apprendre des représentations musicales intéressantes, il est important de considérer les aspects particuliers à l'audio musical dans la conception des modèles d'apprentissage. Vu la structure temporelle et spectrale de l'audio musical, les représentations profondes et multiéchelles sont particulièrement bien conçues pour représenter la musique. Cette thèse porte sur l'apprentissage de représentations de l'audio musical. Des modèles profonds et multiéchelles améliorant l'état de l'art pour des tâches telles que la reconnaissance d'instrument, la reconnaissance de genre et l'étiquetage automatique y sont présentés.

Enjeux de la couleur dans le cinéma hollywoodien d'après-guerre

Après la Seconde Guerre Mondiale, on peut observer une inflexion de l’usage de la couleur dans le cinéma hollywoodien. Trop artificielle, la couleur a été reléguée à ses débuts à des genres « irréalistes » (comédie musicale, western). Mais après la guerre, la couleur est utilisée dans des films montrant le quotidien de l’Amérique, et devient une nouvelle façon d’appréhender certaines questions contemporaines. La couleur n’est plus un ornement ou un perfectionnement superflu, elle est porteuse de sens, au même titre que les autres éléments de la mise en scène. Les couleurs vives et l’exacerbation de l’artifice sont désormais utilisées par certains cinéastes dans un autre but que le seul plaisir de l’image colorée : parfois avec ironie, voire un pessimisme sous-jacent. L’enjeu esthétique de la couleur au cinéma doit en effet être situé dans le contexte historique de l’après guerre. La dévalorisation de la couleur dans l’histoire de l’art est ancienne, celle-ci ayant souvent été associée depuis l’Antiquité au maquillage féminin et à l’illusion. Le cinéma hollywoodien des années cinquante modifie justement l’image de la femme : on passe de la femme mythifiée à des femmes de chair et de sang, plus sexualisées, et aussi à l’évocation des rapports sociaux du quotidien. À travers l’actrice, et la façon dont celle-ci manipule la couleur ou bien existe à travers elle, la couleur se libère des préjugés, et trouve son indépendance, à travers une libération de l’expressivité, et un refus du seul mimétisme.

Apprentissage machine efficace : théorie et pratique

Malgré des progrès constants en termes de capacité de calcul, mémoire et quantité de données disponibles, les algorithmes d'apprentissage machine doivent se montrer efficaces dans l'utilisation de ces ressources. La minimisation des coûts est évidemment un facteur important, mais une autre motivation est la recherche de mécanismes d'apprentissage capables de reproduire le comportement d'êtres intelligents. Cette thèse aborde le problème de l'efficacité à travers plusieurs articles traitant d'algorithmes d'apprentissage variés : ce problème est vu non seulement du point de vue de l'efficacité computationnelle (temps de calcul et mémoire utilisés), mais aussi de celui de l'efficacité statistique (nombre d'exemples requis pour accomplir une tâche donnée). Une première contribution apportée par cette thèse est la mise en lumière d'inefficacités statistiques dans des algorithmes existants. Nous montrons ainsi que les arbres de décision généralisent mal pour certains types de tâches (chapitre 3), de même que les algorithmes classiques d'apprentissage semi-supervisé à base de graphe (chapitre 5), chacun étant affecté par une forme particulière de la malédiction de la dimensionalité. Pour une certaine classe de réseaux de neurones, appelés réseaux sommes-produits, nous montrons qu'il peut être exponentiellement moins efficace de représenter certaines fonctions par des réseaux à une seule couche cachée, comparé à des réseaux profonds (chapitre 4). Nos analyses permettent de mieux comprendre certains problèmes intrinsèques liés à ces algorithmes, et d'orienter la recherche dans des directions qui pourraient permettre de les résoudre. Nous identifions également des inefficacités computationnelles dans les algorithmes d'apprentissage semi-supervisé à base de graphe (chapitre 5), et dans l'apprentissage de mélanges de Gaussiennes en présence de valeurs manquantes (chapitre 6). Dans les deux cas, nous proposons de nouveaux algorithmes capables de traiter des ensembles de données significativement plus grands. Les deux derniers chapitres traitent de l'efficacité computationnelle sous un angle différent. Dans le chapitre 7, nous analysons de manière théorique un algorithme existant pour l'apprentissage efficace dans les machines de Boltzmann restreintes (la divergence contrastive), afin de mieux comprendre les raisons qui expliquent le succès de cet algorithme. Finalement, dans le chapitre 8 nous présentons une application de l'apprentissage machine dans le domaine des jeux vidéo, pour laquelle le problème de l'efficacité computationnelle est relié à des considérations d'ingénierie logicielle et matérielle, souvent ignorées en recherche mais ô combien importantes en pratique.

Traduction statistique vers une langue à morphologie riche : combinaison d’algorithmes de segmentation morphologique et de modèles statistiques de traduction automatique

Les systèmes statistiques de traduction automatique ont pour tâche la traduction d’une langue source vers une langue cible. Dans la plupart des systèmes de traduction de référence, l'unité de base considérée dans l'analyse textuelle est la forme telle qu’observée dans un texte. Une telle conception permet d’obtenir une bonne performance quand il s'agit de traduire entre deux langues morphologiquement pauvres. Toutefois, ceci n'est plus vrai lorsqu’il s’agit de traduire vers une langue morphologiquement riche (ou complexe). Le but de notre travail est de développer un système statistique de traduction automatique comme solution pour relever les défis soulevés par la complexité morphologique. Dans ce mémoire, nous examinons, dans un premier temps, un certain nombre de méthodes considérées comme des extensions aux systèmes de traduction traditionnels et nous évaluons leurs performances. Cette évaluation est faite par rapport aux systèmes à l’état de l’art (système de référence) et ceci dans des tâches de traduction anglais-inuktitut et anglais-finnois. Nous développons ensuite un nouvel algorithme de segmentation qui prend en compte les informations provenant de la paire de langues objet de la traduction. Cet algorithme de segmentation est ensuite intégré dans le modèle de traduction à base d’unités lexicales « Phrase-Based Models » pour former notre système de traduction à base de séquences de segments. Enfin, nous combinons le système obtenu avec des algorithmes de post-traitement pour obtenir un système de traduction complet. Les résultats des expériences réalisées dans ce mémoire montrent que le système de traduction à base de séquences de segments proposé permet d’obtenir des améliorations significatives au niveau de la qualité de la traduction en terme de le métrique d’évaluation BLEU (Papineni et al., 2002) et qui sert à évaluer. Plus particulièrement, notre approche de segmentation réussie à améliorer légèrement la qualité de la traduction par rapport au système de référence et une amélioration significative de la qualité de la traduction est observée par rapport aux techniques de prétraitement de base (baseline).

Algorithmes d'apprentissage pour la recommandation

L'ère numérique dans laquelle nous sommes entrés apporte une quantité importante de nouveaux défis à relever dans une multitude de domaines. Le traitement automatique de l'abondante information à notre disposition est l'un de ces défis, et nous allons ici nous pencher sur des méthodes et techniques adaptées au filtrage et à la recommandation à l'utilisateur d'articles adaptés à ses goûts, dans le contexte particulier et sans précédent notable du jeu vidéo multi-joueurs en ligne. Notre objectif est de prédire l'appréciation des niveaux par les joueurs. Au moyen d'algorithmes d'apprentissage machine modernes tels que les réseaux de neurones profonds avec pré-entrainement non-supervisé, que nous décrivons après une introduction aux concepts nécessaires à leur bonne compréhension, nous proposons deux architectures aux caractéristiques différentes bien que basées sur ce même concept d'apprentissage profond. La première est un réseau de neurones multi-couches pour lequel nous tentons d'expliquer les performances variables que nous rapportons sur les expériences menées pour diverses variations de profondeur, d'heuristique d'entraînement, et des méthodes de pré-entraînement non-supervisé simple, débruitant et contractant. Pour la seconde architecture, nous nous inspirons des modèles à énergie et proposons de même une explication des résultats obtenus, variables eux aussi. Enfin, nous décrivons une première tentative fructueuse d'amélioration de cette seconde architecture au moyen d'un fine-tuning supervisé succédant le pré-entrainement, puis une seconde tentative où ce fine-tuning est fait au moyen d'un critère d'entraînement semi-supervisé multi-tâches. Nos expériences montrent des performances prometteuses, notament avec l'architecture inspirée des modèles à énergie, justifiant du moins l'utilisation d'algorithmes d'apprentissage profonds pour résoudre le problème de la recommandation.

L’interprétation mécaniste des communautés et des écosystèmes

Les concepts d’écosystèmes et de communautés sont centraux aux explications en écologie ainsi qu’à plusieurs débats environnementaux. Cependant, depuis l’introduction de ces concepts, leur statut ontologique est controversé (c'est-à-dire un écosystème a-t-il une existence à part entière au-delà de l’existence de ses parties constituantes?). Alors que certains favorisent une interprétation épistémique de ces concepts, d’autres défendent plutôt que ces unités écologiques fassent partie intégrante du monde naturel. Dans le cadre de ce mémoire, j’argumente que la meilleure manière d’appréhender cette question ontologique est de comprendre que les communautés ainsi que les écosystèmes sont des mécanismes. Plus précisément, je propose que les écosystèmes et les communautés soient des ensembles d’entités et d’activités organisés de manière à exhiber de manière régulière des phénomènes précis. Les entités sont les composantes de ces mécanismes (ex : espèce, niche écologique) alors que les activités sont les relations causales produisant des changements (ex : photosynthèse, prédation). Finalement, les phénomènes que ces mécanismes produisent sont les propriétés émergentes propres au niveau d’organisation des communautés et des écosystèmes (ex. : pH, Biomasse). En utilisant l’approche manipulationniste développée par James Woodward (2003, 2004, 2010), j’argumente qu’il est possible d’identifier les composantes causales des écosystèmes et des communautés ainsi que leurs relations. Puisqu’il est possible de manipuler empiriquement et de manière contrefactuelle de différentes manières les communautés et les écosystèmes (Penn 2003; Swenson et Wilson 2000), je conclus que nous pouvons affirmer de manière robuste (Wimsatt 2007) que ces entités existent réellement.

Méthodes numériques pour la capture et la résolution des discontinuités dans les solutions des systèmes hyperboliques

Réalisé en majeure partie sous la tutelle de feu le Professeur Paul Arminjon. Après sa disparition, le Docteur Aziz Madrane a pris la relève de la direction de mes travaux.

Contribution de la motivation dans les jeux sérieux

La motivation incite les apprenants à s’engager dans une activité et à persévérer dans son accomplissement afin d’atteindre un but. Dans les Systèmes Tutoriels Intelligents (STI), les études sur la motivation des apprenants possèdent trois manques importants : un manque de moyens objectifs et fiables pour évaluer cet état, un manque d’évaluation de rôles joués par les facteurs motivationnels conçus dans l’environnement d’apprentissage et un manque de stratégies d’interventions motivationnelles pour soutenir la motivation des apprenants. Dans cette thèse, nous nous intéressons à mieux comprendre l’état de la motivation des apprenant ainsi que les facteurs et stratégies motivationnels dans un environnement d’apprentissage captivant : les jeux sérieux. Dans une première étude, nous évaluons la motivation des apprenants par l’entremise d’un modèle théorique de la motivation (ARCS de Keller) et de données électro-physiologiques (la conductivité de la peau, le rythme cardiaque et l’activité cérébrale). Nous déterminons et évaluons aussi quelques situations ou stratégies favorisant la motivation dans l’environnement des jeux sérieux étudié. Dans une deuxième étude, nous développons un prototype de jeux sérieux intégrant – dans une première version – quelques éléments motivationnels issus de jeux vidéo et – dans une deuxième version – des stratégies motivationnelles d’un modèle théorique de la motivation. Nous espérons, avec une évaluation motivationnelle de notre prototype, soutenir les apprenants à atteindre des hauts niveaux de motivation, de persévérance et de performance.

Algorithmes d’apprentissage profonds supervisés et non-supervisés: applications et résultats théoriques

La liste des domaines touchés par l’apprentissage machine s’allonge rapidement. Au fur et à mesure que la quantité de données disponibles augmente, le développement d’algorithmes d’apprentissage de plus en plus puissants est crucial. Ce mémoire est constitué de trois parties: d’abord un survol des concepts de bases de l’apprentissage automatique et les détails nécessaires pour l’entraînement de réseaux de neurones, modèles qui se livrent bien à des architectures profondes. Ensuite, le premier article présente une application de l’apprentissage machine aux jeux vidéos, puis une méthode de mesure performance pour ceux-ci en tant que politique de décision. Finalement, le deuxième article présente des résultats théoriques concernant l’entraînement d’architectures profondes nonsupervisées. Les jeux vidéos sont un domaine particulièrement fertile pour l’apprentissage automatique: il estf facile d’accumuler d’importantes quantités de données, et les applications ne manquent pas. La formation d’équipes selon un critère donné est une tˆache commune pour les jeux en lignes. Le premier article compare différents algorithmes d’apprentissage à des réseaux de neurones profonds appliqués à la prédiction de la balance d’un match. Ensuite nous présentons une méthode par simulation pour évaluer les modèles ainsi obtenus utilisés dans le cadre d’une politique de décision en ligne. Dans un deuxième temps nous présentons une nouvelleméthode pour entraîner des modèles génératifs. Des résultats théoriques nous indiquent qu’il est possible d’entraîner par rétropropagation des modèles non-supervisés pouvant générer des échantillons qui suivent la distribution des données. Ceci est un résultat pertinent dans le cadre de la récente littérature scientifique investiguant les propriétés des autoencodeurs comme modèles génératifs. Ces résultats sont supportés avec des expériences qualitatives préliminaires ainsi que quelques résultats quantitatifs.

Une approche multi-agents pour le développement d'un jeu vidéo

Un système multi-agents est composé de plusieurs agents autonomes qui interagissent entre eux dans un environnement commun. Ce mémoire vise à démontrer l’utilisation d’un système multi-agents pour le développement d’un jeu vidéo. Tout d’abord, une justification du choix des concepts d’intelligence artificielle choisie est exposée. Par la suite, une approche pratique est utilisée en effectuant le développement d’un jeu vidéo. Pour ce faire, le jeu fut développé à partir d’un jeu vidéo mono-agent existant et mo- difié en système multi-agents afin de bien mettre en valeur les avantages d’un système multi-agents dans un jeu vidéo. Le développement de ce jeu a aussi démontré l’applica- tion d’autres concepts en intelligence artificielle comme la recherche de chemins et les arbres de décisions. Le jeu développé pour ce mémoire viens appuyer les conclusions des différentes recherches démontrant que l’utilisation d’un système multi-agents per- met de réaliser un comportement plus réaliste pour les joueurs non humains et bien plus compétitifs pour le joueur humain.

Génération de résumés par abstraction

Cette thèse présente le résultat de plusieurs années de recherche dans le domaine de la génération automatique de résumés. Trois contributions majeures, présentées sous la forme d'articles publiés ou soumis pour publication, en forment le coeur. Elles retracent un cheminement qui part des méthodes par extraction en résumé jusqu'aux méthodes par abstraction. L'expérience HexTac, sujet du premier article, a d'abord été menée pour évaluer le niveau de performance des êtres humains dans la rédaction de résumés par extraction de phrases. Les résultats montrent un écart important entre la performance humaine sous la contrainte d'extraire des phrases du texte source par rapport à la rédaction de résumés sans contrainte. Cette limite à la rédaction de résumés par extraction de phrases, observée empiriquement, démontre l'intérêt de développer d'autres approches automatiques pour le résumé. Nous avons ensuite développé un premier système selon l'approche Fully Abstractive Summarization, qui se situe dans la catégorie des approches semi-extractives, comme la compression de phrases et la fusion de phrases. Le développement et l'évaluation du système, décrits dans le second article, ont permis de constater le grand défi de générer un résumé facile à lire sans faire de l'extraction de phrases. Dans cette approche, le niveau de compréhension du contenu du texte source demeure insuffisant pour guider le processus de sélection du contenu pour le résumé, comme dans les approches par extraction de phrases. Enfin, l'approche par abstraction basée sur des connaissances nommée K-BABS est proposée dans un troisième article. Un repérage des éléments d'information pertinents est effectué, menant directement à la génération de phrases pour le résumé. Cette approche a été implémentée dans le système ABSUM, qui produit des résumés très courts mais riches en contenu. Ils ont été évalués selon les standards d'aujourd'hui et cette évaluation montre que des résumés hybrides formés à la fois de la sortie d'ABSUM et de phrases extraites ont un contenu informatif significativement plus élevé qu'un système provenant de l'état de l'art en extraction de phrases.

Alignement de phrases parallèles dans des corpus bruités

La traduction statistique requiert des corpus parallèles en grande quantité. L’obtention de tels corpus passe par l’alignement automatique au niveau des phrases. L’alignement des corpus parallèles a reçu beaucoup d’attention dans les années quatre vingt et cette étape est considérée comme résolue par la communauté. Nous montrons dans notre mémoire que ce n’est pas le cas et proposons un nouvel aligneur que nous comparons à des algorithmes à l’état de l’art. Notre aligneur est simple, rapide et permet d’aligner une très grande quantité de données. Il produit des résultats souvent meilleurs que ceux produits par les aligneurs les plus élaborés. Nous analysons la robustesse de notre aligneur en fonction du genre des textes à aligner et du bruit qu’ils contiennent. Pour cela, nos expériences se décomposent en deux grandes parties. Dans la première partie, nous travaillons sur le corpus BAF où nous mesurons la qualité d’alignement produit en fonction du bruit qui atteint les 60%. Dans la deuxième partie, nous travaillons sur le corpus EuroParl où nous revisitons la procédure d’alignement avec laquelle le corpus Europarl a été préparé et montrons que de meilleures performances au niveau des systèmes de traduction statistique peuvent être obtenues en utilisant notre aligneur.

JSreal : un réalisateur de texte pour la programmation web

Site web associé au mémoire: http://daou.st/JSreal

Optimisation et évaluation d’un nouveau test PAMPA amélioré pour la prédiction de l’absorption intestinale de médicaments.

Ce mémoire rapporte l’optimisation et l’évaluation d’une nouvelle version du test PAMPA (Parallel Artificial Membrane Permeability Assay) appelée Néo-PAMPA. Ce test qui permet la prédiction de l’absorption intestinale de médicaments consiste en l’utilisation d’une membrane modèle de la paroi intestinale composée d’une bicouche lipidique déposée sur un coussin de polydopamine recouvrant un filtre poreux. En effet, nous nous sommes intéressés lors de ce projet à la mise en place d’une membrane artificielle qui serait plus représentative de la paroi intestinale humaine. Nous avons pu déterminer, suite à une étude comparative des propriétés de huit médicaments ainsi que les coefficients de perméabilité obtenus, que les filtres en polycarbonate présentaient le meilleur choix de support solide pour la membrane. Nous avons également vérifié la déposition du coussin de polydopamine qui apporte le caractère fluide à la bicouche lipidique. Les résultats des tests de perméabilité ont démontré que le coussin de polymère n’obstrue pas les pores du filtre après un dépôt de 4h. Nous avons par la suite étudié la déposition de la bicouche lipidique sur le filtre recouvert de polydopamine. Pour ce faire, deux méthodes de préparation de liposomes ainsi que plusieurs tailles de liposomes ont été testées. Aussi, la composition en phospholipides a été sujette à plusieurs changements. Tous ces travaux d’optimisation ont permis d’aboutir à des liposomes préparés selon la méthode du « film lipidique » à partir d’un mélange de dioléoylphosphatidylcholine (DOPC) et de cholestérol. Une dernière étape d’optimisation de la déposition de la bicouche reste à améliorer. Enfin, le test standard Caco-2, qui consiste à évaluer la perméabilité des médicaments à travers une monocouche de cellules cancéreuses du colon humain, a été implémenté avec succès dans le but de comparer des données de perméabilité avec un test de référence.

Recognition of Facial Expressions with Autoencoders and Convolutional-Nets

Les humains communiquent via différents types de canaux: les mots, la voix, les gestes du corps, des émotions, etc. Pour cette raison, un ordinateur doit percevoir ces divers canaux de communication pour pouvoir interagir intelligemment avec les humains, par exemple en faisant usage de microphones et de webcams. Dans cette thèse, nous nous intéressons à déterminer les émotions humaines à partir d’images ou de vidéo de visages afin d’ensuite utiliser ces informations dans différents domaines d’applications. Ce mémoire débute par une brève introduction à l'apprentissage machine en s’attardant aux modèles et algorithmes que nous avons utilisés tels que les perceptrons multicouches, réseaux de neurones à convolution et autoencodeurs. Elle présente ensuite les résultats de l'application de ces modèles sur plusieurs ensembles de données d'expressions et émotions faciales. Nous nous concentrons sur l'étude des différents types d’autoencodeurs (autoencodeur débruitant, autoencodeur contractant, etc) afin de révéler certaines de leurs limitations, comme la possibilité d'obtenir de la coadaptation entre les filtres ou encore d’obtenir une courbe spectrale trop lisse, et étudions de nouvelles idées pour répondre à ces problèmes. Nous proposons également une nouvelle approche pour surmonter une limite des autoencodeurs traditionnellement entrainés de façon purement non-supervisée, c'est-à-dire sans utiliser aucune connaissance de la tâche que nous voulons finalement résoudre (comme la prévision des étiquettes de classe) en développant un nouveau critère d'apprentissage semi-supervisé qui exploite un faible nombre de données étiquetées en combinaison avec une grande quantité de données non-étiquetées afin d'apprendre une représentation adaptée à la tâche de classification, et d'obtenir une meilleure performance de classification. Finalement, nous décrivons le fonctionnement général de notre système de détection d'émotions et proposons de nouvelles idées pouvant mener à de futurs travaux.