Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Recognition of Facial Expressions with Autoencoders and Convolutional-Nets

Les humains communiquent via différents types de canaux: les mots, la voix, les gestes du corps, des émotions, etc. Pour cette raison, un ordinateur doit percevoir ces divers canaux de communication pour pouvoir interagir intelligemment avec les humains, par exemple en faisant usage de microphones et de webcams. Dans cette thèse, nous nous intéressons à déterminer les émotions humaines à partir d’images ou de vidéo de visages afin d’ensuite utiliser ces informations dans différents domaines d’applications. Ce mémoire débute par une brève introduction à l'apprentissage machine en s’attardant aux modèles et algorithmes que nous avons utilisés tels que les perceptrons multicouches, réseaux de neurones à convolution et autoencodeurs. Elle présente ensuite les résultats de l'application de ces modèles sur plusieurs ensembles de données d'expressions et émotions faciales. Nous nous concentrons sur l'étude des différents types d’autoencodeurs (autoencodeur débruitant, autoencodeur contractant, etc) afin de révéler certaines de leurs limitations, comme la possibilité d'obtenir de la coadaptation entre les filtres ou encore d’obtenir une courbe spectrale trop lisse, et étudions de nouvelles idées pour répondre à ces problèmes. Nous proposons également une nouvelle approche pour surmonter une limite des autoencodeurs traditionnellement entrainés de façon purement non-supervisée, c'est-à-dire sans utiliser aucune connaissance de la tâche que nous voulons finalement résoudre (comme la prévision des étiquettes de classe) en développant un nouveau critère d'apprentissage semi-supervisé qui exploite un faible nombre de données étiquetées en combinaison avec une grande quantité de données non-étiquetées afin d'apprendre une représentation adaptée à la tâche de classification, et d'obtenir une meilleure performance de classification. Finalement, nous décrivons le fonctionnement général de notre système de détection d'émotions et proposons de nouvelles idées pouvant mener à de futurs travaux.

Variétés de drapeaux et opérateurs différentiels

Soit G un groupe algébrique semi-simple sur un corps de caractéristique 0. Ce mémoire discute d'un théorème d'annulation de la cohomologie supérieure du faisceau D des opérateurs différentiels sur une variété de drapeaux de G. On démontre que si P est un sous-groupe parabolique de G, alors H^i(G/P,D)=0 pour tout i>0. On donne en fait trois preuves indépendantes de ce théorème. La première preuve est de Hesselink et n'est valide que dans le cas où le sous-groupe parabolique est un sous-groupe de Borel. Elle utilise un argument de suites spectrales et le théorème de Borel-Weil-Bott. La seconde preuve est de Kempf et n'est valide que dans le cas où le radical unipotent de P agit trivialement sur son algèbre de Lie. Elle n'utilise que le théorème de Borel-Weil-Bott. Enfin, la troisième preuve est attribuée à Elkik. Elle est valide pour tout sous-groupe parabolique mais utilise le théorème de Grauert-Riemenschneider. On présente aussi une construction détaillée du faisceau des opérateurs différentiels sur une variété.

Quotients d'une variété algébrique par un groupe algébrique linéairement réductif et ses sous-groupes maximaux unipotents

La construction d'un quotient, en topologie, est relativement simple; si $G$ est un groupe topologique agissant sur un espace topologique $X$, on peut considérer l'application naturelle de $X$ dans $X/G$, l'espace d'orbites muni de la topologie quotient. En géométrie algébrique, malheureusement, il n'est généralement pas possible de munir l'espace d'orbites d'une structure de variété. Dans le cas de l'action d'un groupe linéairement réductif $G$ sur une variété projective $X$, la théorie géométrique des invariants nous permet toutefois de construire un morphisme de variété d'un ouvert $U$ de $X$ vers une variété projective $X//U$, se rapprochant autant que possible d'une application quotient, au sens topologique du terme. Considérons par exemple $X\subseteq P^{n}$, une $k$-variété projective sur laquelle agit un groupe linéairement réductif $G$ et supposons que cette action soit induite par une action linéaire de $G$ sur $A^{n+1}$. Soit $\widehat{X}\subseteq A^{n+1}$, le cône affine au dessus de $\X$. Par un théorème de la théorie classique des invariants, il existe alors des invariants homogènes $f_{1},...,f_{r}\in C[\widehat{X}]^{G}$ tels que $$C[\widehat{X}]^{G}= C[f_{1},...,f_{r}].$$ On appellera le nilcone, que l'on notera $N$, la sous-variété de $\X$ définie par le locus des invariants $f_{1},...,f_{r}$. Soit $Proj(C[\widehat{X}]^{G})$, le spectre projectif de l'anneau des invariants. L'application rationnelle $$\pi:X\dashrightarrow Proj(C[f_{1},...,f_{r}])$$ induite par l'inclusion de $C[\widehat{X}]^{G}$ dans $C[\widehat{X}]$ est alors surjective, constante sur les orbites et sépare les orbites autant qu'il est possible de le faire; plus précisément, chaque fibre contient exactement une orbite fermée. Pour obtenir une application régulière satisfaisant les mêmes propriétés, il est nécessaire de jeter les points du nilcone. On obtient alors l'application quotient $$\pi:X\backslash N\rightarrow Proj(C[f_{1},...,f_{r}]).$$ Le critère de Hilbert-Mumford, dû à Hilbert et repris par Mumford près d'un demi-siècle plus tard, permet de décrire $N$ sans connaître les $f_{1},...,f_{r}$. Ce critère est d'autant plus utile que les générateurs de l'anneau des invariants ne sont connus que dans certains cas particuliers. Malgré les applications concrètes de ce théorème en géométrie algébrique classique, les démonstrations que l'on en trouve dans la littérature sont généralement données dans le cadre peu accessible des schémas. L'objectif de ce mémoire sera, entre autres, de donner une démonstration de ce critère en utilisant autant que possible les outils de la géométrie algébrique classique et de l'algèbre commutative. La version que nous démontrerons est un peu plus générale que la version originale de Hilbert \cite{hilbert} et se retrouve, par exemple, dans \cite{kempf}. Notre preuve est valide sur $C$ mais pourrait être généralisée à un corps $k$ de caractéristique nulle, pas nécessairement algébriquement clos. Dans la seconde partie de ce mémoire, nous étudierons la relation entre la construction précédente et celle obtenue en incluant les covariants en plus des invariants. Nous démontrerons dans ce cas un critère analogue au critère de Hilbert-Mumford (Théorème 6.3.2). C'est un théorème de Brion pour lequel nous donnerons une version un peu plus générale. Cette version, de même qu'une preuve simplifiée d'un théorème de Grosshans (Théorème 6.1.7), sont les éléments de ce mémoire que l'on ne retrouve pas dans la littérature.

Superintégrabilité avec séparation de variables en coordonnées polaires et intégrales du mouvement d’ordre supérieur à deux

Dans cette thèse, nous proposons de nouveaux résultats de systèmes superintégrables séparables en coordonnées polaires. Dans un premier temps, nous présentons une classification complète de tous les systèmes superintégrables séparables en coordonnées polaires qui admettent une intégrale du mouvement d'ordre trois. Des potentiels s'exprimant en terme de la sixième transcendante de Painlevé et de la fonction elliptique de Weierstrass sont présentés. Ensuite, nous introduisons une famille infinie de systèmes classiques et quantiques intégrables et exactement résolubles en coordonnées polaires. Cette famille s'exprime en terme d'un paramètre k. Le spectre d'énergie et les fonctions d'onde des systèmes quantiques sont présentés. Une conjecture postulant la superintégrabilité de ces systèmes est formulée et est vérifiée pour k=1,2,3,4. L'ordre des intégrales du mouvement proposées est 2k où k ∈ ℕ. La structure algébrique de la famille de systèmes quantiques est formulée en terme d'une algèbre cachée où le nombre de générateurs dépend du paramètre k. Une généralisation quasi-exactement résoluble et intégrable de la famille de potentiels est proposée. Finalement, les trajectoires classiques de la famille de systèmes sont calculées pour tous les cas rationnels k ∈ ℚ. Celles-ci s'expriment en terme des polynômes de Chebyshev. Les courbes associées aux trajectoires sont présentées pour les premiers cas k=1, 2, 3, 4, 1/2, 1/3 et 3/2 et les trajectoires bornées sont fermées et périodiques dans l'espace des phases. Ainsi, les résultats obtenus viennent renforcer la possible véracité de la conjecture.

Grothendieck et les topos : rupture et continuité dans les modes d'analyse du concept d'espace topologique

La thèse présente une analyse conceptuelle de l'évolution du concept d'espace topologique. En particulier, elle se concentre sur la transition des espaces topologiques hérités de Hausdorff aux topos de Grothendieck. Il en ressort que, par rapport aux espaces topologiques traditionnels, les topos transforment radicalement la conceptualisation topologique de l'espace. Alors qu'un espace topologique est un ensemble de points muni d'une structure induite par certains sous-ensembles appelés ouverts, un topos est plutôt une catégorie satisfaisant certaines propriétés d'exactitude. L'aspect le plus important de cette transformation tient à un renversement de la relation dialectique unissant un espace à ses points. Un espace topologique est entièrement déterminé par ses points, ceux-ci étant compris comme des unités indivisibles et sans structure. L'identité de l'espace est donc celle que lui insufflent ses points. À l'opposé, les points et les ouverts d'un topos sont déterminés par la structure de celui-ci. Qui plus est, la nature des points change: ils ne sont plus premiers et indivisibles. En effet, les points d'un topos disposent eux-mêmes d'une structure. L'analyse met également en évidence que le concept d'espace topologique évolua selon une dynamique de rupture et de continuité. Entre 1945 et 1957, la topologie algébrique et, dans une certaine mesure, la géométrie algébrique furent l'objet de changements fondamentaux. Les livres Foundations of Algebraic Topology de Eilenberg et Steenrod et Homological Algebra de Cartan et Eilenberg de même que la théorie des faisceaux modifièrent profondément l'étude des espaces topologiques. En contrepartie, ces ruptures ne furent pas assez profondes pour altérer la conceptualisation topologique de l'espace elle-même. Ces ruptures doivent donc être considérées comme des microfractures dans la perspective de l'évolution du concept d'espace topologique. La rupture définitive ne survint qu'au début des années 1960 avec l'avènement des topos dans le cadre de la vaste refonte de la géométrie algébrique entreprise par Grothendieck. La clé fut l'utilisation novatrice que fit Grothendieck de la théorie des catégories. Alors que ses prédécesseurs n'y voyaient qu'un langage utile pour exprimer certaines idées mathématiques, Grothendieck l'emploie comme un outil de clarification conceptuelle. Ce faisant, il se trouve à mettre de l'avant une approche axiomatico-catégorielle des mathématiques. Or, cette rupture était tributaire des innovations associées à Foundations of Algebraic Topology, Homological Algebra et la théorie des faisceaux. La théorie des catégories permit à Grothendieck d'exploiter le plein potentiel des idées introduites par ces ruptures partielles. D'un point de vue épistémologique, la transition des espaces topologiques aux topos doit alors être vue comme s'inscrivant dans un changement de position normative en mathématiques, soit celui des mathématiques modernes vers les mathématiques contemporaines.

Étude de situations de validation en algèbre vécues par des élèves de 13 et 14 ans à l’aide et sans l’aide d’un forum électronique

L’un des buts de l’apprentissage des mathématiques est le développement du raisonnement et celui-ci participe à la compréhension des mathématiques. Très liée au raisonnement, la notion de preuve est aussi fondamentale à l’apprentissage des mathématiques, car elle permet d’établir la validité d’arguments mathématiques et de conférer un sens à différents concepts à travers l’explication de l’organisation logique du travail effectué. Toutefois, malgré l’importance accordée au développement de différents types de raisonnements, plusieurs élèves éprouvent des difficultés lorsqu’ils sont appelés à concevoir ou à évaluer des preuves. Dans le cadre de cette recherche, nous avons étudié l’impact de l’utilisation d’un forum électronique sur le développement d’habiletés de validation algébrique ainsi que sur le développement d’habiletés en lien avec l’évaluation de preuves en algèbre chez des élèves de 13 et 14 ans du Nouveau-Brunswick et du Québec. Les résultats laissent supposer que l’utilisation du forum électronique encourage le passage des preuves pragmatiques aux preuves intellectuelles, en plus de favoriser une utilisation adéquate des règles du débat mathématique.

Lien entre les matrices de transfert de spins et de boucles du modèle de Potts sur le tore

Le lien entre le spectre de la matrice de transfert de la formulation de spins du modèle de Potts critique et celui de la matrice de transfert double-ligne de la formulation de boucles est établi. La relation entre la trace des deux opérateurs est obtenue dans deux représentations de l'algèbre de Temperley-Lieb cyclique, dont la matrice de transfert de boucles est un élément. Le résultat est exprimé en termes des traces modifiées, qui correspondent à des traces effectuées dans le sous-espace de l'espace de représentation des N-liens se transformant selon la m ième représentation irréductible du groupe cyclique. Le mémoire comporte trois chapitres. Dans le premier chapitre, les résultats essentiels concernant les formulations de spins et de boucles du modèle de Potts sont rappelés. Dans le second chapitre, les propriétés de l'algèbre de Temperley-Lieb cyclique et de ses représentations sont étudiées. Enfin, le lien entre les deux traces est construit dans le troisième chapitre. Le résultat final s'apparente à celui obtenu par Richard et Jacobsen en 2007, mais une nouvelle représentation n'ayant pas été étudiée est aussi investiguée.

Réseaux de neurones à relaxation entraînés par critère d'autoencodeur débruitant

L’apprentissage machine est un vaste domaine où l’on cherche à apprendre les paramètres de modèles à partir de données concrètes. Ce sera pour effectuer des tâches demandant des aptitudes attribuées à l’intelligence humaine, comme la capacité à traiter des don- nées de haute dimensionnalité présentant beaucoup de variations. Les réseaux de neu- rones artificiels sont un exemple de tels modèles. Dans certains réseaux de neurones dits profonds, des concepts "abstraits" sont appris automatiquement. Les travaux présentés ici prennent leur inspiration de réseaux de neurones profonds, de réseaux récurrents et de neuroscience du système visuel. Nos tâches de test sont la classification et le débruitement d’images quasi binaires. On permettra une rétroac- tion où des représentations de haut niveau (plus "abstraites") influencent des représentations à bas niveau. Cette influence s’effectuera au cours de ce qu’on nomme relaxation, des itérations où les différents niveaux (ou couches) du modèle s’interinfluencent. Nous présentons deux familles d’architectures, l’une, l’architecture complètement connectée, pouvant en principe traiter des données générales et une autre, l’architecture convolutionnelle, plus spécifiquement adaptée aux images. Dans tous les cas, les données utilisées sont des images, principalement des images de chiffres manuscrits. Dans un type d’expérience, nous cherchons à reconstruire des données qui ont été corrompues. On a pu y observer le phénomène d’influence décrit précédemment en comparant le résultat avec et sans la relaxation. On note aussi certains gains numériques et visuels en terme de performance de reconstruction en ajoutant l’influence des couches supérieures. Dans un autre type de tâche, la classification, peu de gains ont été observés. On a tout de même pu constater que dans certains cas la relaxation aiderait à apprendre des représentations utiles pour classifier des images corrompues. L’architecture convolutionnelle développée, plus incertaine au départ, permet malgré tout d’obtenir des reconstructions numériquement et visuellement semblables à celles obtenues avec l’autre architecture, même si sa connectivité est contrainte.

Espaces de timbre générés par des réseaux profonds convolutionnels

Il est avant-tout question, dans ce mémoire, de la modélisation du timbre grâce à des algorithmes d'apprentissage machine. Plus précisément, nous avons essayé de construire un espace de timbre en extrayant des caractéristiques du son à l'aide de machines de Boltzmann convolutionnelles profondes. Nous présentons d'abord un survol de l'apprentissage machine, avec emphase sur les machines de Boltzmann convolutionelles ainsi que les modèles dont elles sont dérivées. Nous présentons aussi un aperçu de la littérature concernant les espaces de timbre, et mettons en évidence quelque-unes de leurs limitations, dont le nombre limité de sons utilisés pour les construire. Pour pallier à ce problème, nous avons mis en place un outil nous permettant de générer des sons à volonté. Le système utilise à sa base des plug-ins qu'on peut combiner et dont on peut changer les paramètres pour créer une gamme virtuellement infinie de sons. Nous l'utilisons pour créer une gigantesque base de donnée de timbres générés aléatoirement constituée de vrais instruments et d'instruments synthétiques. Nous entrainons ensuite les machines de Boltzmann convolutionnelles profondes de façon non-supervisée sur ces timbres, et utilisons l'espace des caractéristiques produites comme espace de timbre. L'espace de timbre ainsi obtenu est meilleur qu'un espace semblable construit à l'aide de MFCC. Il est meilleur dans le sens où la distance entre deux timbres dans cet espace est plus semblable à celle perçue par un humain. Cependant, nous sommes encore loin d'atteindre les mêmes capacités qu'un humain. Nous proposons d'ailleurs quelques pistes d'amélioration pour s'en approcher.

Superintégrabilité avec intégrales d'ordre trois, algèbres polynomiales et mécanique quantique supersymétrique

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Propriétés algébriques d'une algèbre de convolution

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Clones sous-maximaux inf-réductibles

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Équations différentielles issues des vecteurs singuliers des représentations de l'algèbre de Virasoro

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

Complexité des homomorphismes de graphes avec listes

Les problèmes de satisfaction de contraintes, qui consistent à attribuer des valeurs à des variables en respectant un ensemble de contraintes, constituent une large classe de problèmes naturels. Pour étudier la complexité de ces problèmes, il est commode de les voir comme des problèmes d'homomorphismes vers des structures relationnelles. Un axe de recherche actuel est la caractérisation des classes de complexité auxquelles appartient le problème d'homomorphisme, ceci dans la perspective de confirmer des conjectures reliant les propriétés algébriques des structures relationelles à la complexité du problème d'homomorphisme. Cette thèse propose dans un premier temps la caractérisation des digraphes pour lesquels le problème d'homomorphisme avec listes appartient à FO. On montre également que dans le cas du problèmes d'homomorphisme avec listes sur les digraphes télescopiques, les conjectures reliant algèbre et complexité sont confirmées. Dans un deuxième temps, on caractérise les graphes pour lesquels le problème d'homomorphisme avec listes est résoluble par cohérence d'arc. On introduit la notion de polymorphisme monochromatique et on propose un algorithme simple qui résoud le problème d'homomorphisme avec listes si le graphe cible admet un polymorphisme monochromatique TSI d'arité k pour tout k ≥ 2.