Généralisation d'algorithmes de réduction de dimension

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.

Sur les tests lisses d'ajustement dans le context des series chronologiques

La plupart des modèles en statistique classique repose sur une hypothèse sur la distribution des données ou sur une distribution sous-jacente aux données. La validité de cette hypothèse permet de faire de l’inférence, de construire des intervalles de confiance ou encore de tester la fiabilité du modèle. La problématique des tests d’ajustement vise à s’assurer de la conformité ou de la cohérence de l’hypothèse avec les données disponibles. Dans la présente thèse, nous proposons des tests d’ajustement à la loi normale dans le cadre des séries chronologiques univariées et vectorielles. Nous nous sommes limités à une classe de séries chronologiques linéaires, à savoir les modèles autorégressifs à moyenne mobile (ARMA ou VARMA dans le cas vectoriel). Dans un premier temps, au cas univarié, nous proposons une généralisation du travail de Ducharme et Lafaye de Micheaux (2004) dans le cas où la moyenne est inconnue et estimée. Nous avons estimé les paramètres par une méthode rarement utilisée dans la littérature et pourtant asymptotiquement efficace. En effet, nous avons rigoureusement montré que l’estimateur proposé par Brockwell et Davis (1991, section 10.8) converge presque sûrement vers la vraie valeur inconnue du paramètre. De plus, nous fournissons une preuve rigoureuse de l’inversibilité de la matrice des variances et des covariances de la statistique de test à partir de certaines propriétés d’algèbre linéaire. Le résultat s’applique aussi au cas où la moyenne est supposée connue et égale à zéro. Enfin, nous proposons une méthode de sélection de la dimension de la famille d’alternatives de type AIC, et nous étudions les propriétés asymptotiques de cette méthode. L’outil proposé ici est basé sur une famille spécifique de polynômes orthogonaux, à savoir les polynômes de Legendre. Dans un second temps, dans le cas vectoriel, nous proposons un test d’ajustement pour les modèles autorégressifs à moyenne mobile avec une paramétrisation structurée. La paramétrisation structurée permet de réduire le nombre élevé de paramètres dans ces modèles ou encore de tenir compte de certaines contraintes particulières. Ce projet inclut le cas standard d’absence de paramétrisation. Le test que nous proposons s’applique à une famille quelconque de fonctions orthogonales. Nous illustrons cela dans le cas particulier des polynômes de Legendre et d’Hermite. Dans le cas particulier des polynômes d’Hermite, nous montrons que le test obtenu est invariant aux transformations affines et qu’il est en fait une généralisation de nombreux tests existants dans la littérature. Ce projet peut être vu comme une généralisation du premier dans trois directions, notamment le passage de l’univarié au multivarié ; le choix d’une famille quelconque de fonctions orthogonales ; et enfin la possibilité de spécifier des relations ou des contraintes dans la formulation VARMA. Nous avons procédé dans chacun des projets à une étude de simulation afin d’évaluer le niveau et la puissance des tests proposés ainsi que de les comparer aux tests existants. De plus des applications aux données réelles sont fournies. Nous avons appliqué les tests à la prévision de la température moyenne annuelle du globe terrestre (univarié), ainsi qu’aux données relatives au marché du travail canadien (bivarié). Ces travaux ont été exposés à plusieurs congrès (voir par exemple Tagne, Duchesne et Lafaye de Micheaux (2013a, 2013b, 2014) pour plus de détails). Un article basé sur le premier projet est également soumis dans une revue avec comité de lecture (Voir Duchesne, Lafaye de Micheaux et Tagne (2016)).

La mémoire des pierres ; suivi de Les commentaires dans L'angoisse du roi Salomon

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Organisation et réorganisation post-lésionnelle des circuits neuronaux permettant l'accès au lexique : l'apport de la connectivité effective

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Représentations et fusion des algèbres de Temperley-Lieb originale et diluée

Les algèbres de Temperley-Lieb originales, aussi dites régulières, apparaissent dans de nombreux modèles statistiques sur réseau en deux dimensions: les modèles d'Ising, de Potts, des dimères, celui de Fortuin-Kasteleyn, etc. L'espace d'Hilbert de l'hamiltonien quantique correspondant à chacun de ces modèles est un module pour cette algèbre et la théorie de ses représentations peut être utilisée afin de faciliter la décomposition de l'espace en blocs; la diagonalisation de l'hamiltonien s'en trouve alors grandement simplifiée. L'algèbre de Temperley-Lieb diluée joue un rôle similaire pour des modèles statistiques dilués, par exemple un modèle sur réseau où certains sites peuvent être vides; ses représentations peuvent alors être utilisées pour simplifier l'analyse du modèle comme pour le cas original. Or ceci requiert une connaissance des modules de cette algèbre et de leur structure; un premier article donne une liste complète des modules projectifs indécomposables de l'algèbre diluée et un second les utilise afin de construire une liste complète de tous les modules indécomposables des algèbres originale et diluée. La structure des modules est décrite en termes de facteurs de composition et par leurs groupes d'homomorphismes. Le produit de fusion sur l'algèbre de Temperley-Lieb originale permet de «multiplier» ensemble deux modules sur cette algèbre pour en obtenir un autre. Il a été montré que ce produit pouvait servir dans la diagonalisation d'hamiltoniens et, selon certaines conjectures, il pourrait également être utilisé pour étudier le comportement de modèles sur réseaux dans la limite continue. Un troisième article construit une généralisation du produit de fusion pour les algèbres diluées, puis présente une méthode pour le calculer. Le produit de fusion est alors calculé pour les classes de modules indécomposables les plus communes pour les deux familles, originale et diluée, ce qui vient ajouter à la liste incomplète des produits de fusion déjà calculés par d'autres chercheurs pour la famille originale. Finalement, il s'avère que les algèbres de Temperley-Lieb peuvent être associées à une catégorie monoïdale tressée, dont la structure est compatible avec le produit de fusion décrit ci-dessus. Le quatrième article calcule explicitement ce tressage, d'abord sur la catégorie des algèbres, puis sur la catégorie des modules sur ces algèbres. Il montre également comment ce tressage permet d'obtenir des solutions aux équations de Yang-Baxter, qui peuvent alors être utilisées afin de construire des modèles intégrables sur réseaux.

Méthodes de Bootstrap pour les modèles à facteurs

Cette thèse développe des méthodes bootstrap pour les modèles à facteurs qui sont couram- ment utilisés pour générer des prévisions depuis l'article pionnier de Stock et Watson (2002) sur les indices de diffusion. Ces modèles tolèrent l'inclusion d'un grand nombre de variables macroéconomiques et financières comme prédicteurs, une caractéristique utile pour inclure di- verses informations disponibles aux agents économiques. Ma thèse propose donc des outils éco- nométriques qui améliorent l'inférence dans les modèles à facteurs utilisant des facteurs latents extraits d'un large panel de prédicteurs observés. Il est subdivisé en trois chapitres complémen- taires dont les deux premiers en collaboration avec Sílvia Gonçalves et Benoit Perron. Dans le premier article, nous étudions comment les méthodes bootstrap peuvent être utilisées pour faire de l'inférence dans les modèles de prévision pour un horizon de h périodes dans le futur. Pour ce faire, il examine l'inférence bootstrap dans un contexte de régression augmentée de facteurs où les erreurs pourraient être autocorrélées. Il généralise les résultats de Gonçalves et Perron (2014) et propose puis justifie deux approches basées sur les résidus : le block wild bootstrap et le dependent wild bootstrap. Nos simulations montrent une amélioration des taux de couverture des intervalles de confiance des coefficients estimés en utilisant ces approches comparativement à la théorie asymptotique et au wild bootstrap en présence de corrélation sérielle dans les erreurs de régression. Le deuxième chapitre propose des méthodes bootstrap pour la construction des intervalles de prévision permettant de relâcher l'hypothèse de normalité des innovations. Nous y propo- sons des intervalles de prédiction bootstrap pour une observation h périodes dans le futur et sa moyenne conditionnelle. Nous supposons que ces prévisions sont faites en utilisant un ensemble de facteurs extraits d'un large panel de variables. Parce que nous traitons ces facteurs comme latents, nos prévisions dépendent à la fois des facteurs estimés et les coefficients de régres- sion estimés. Sous des conditions de régularité, Bai et Ng (2006) ont proposé la construction d'intervalles asymptotiques sous l'hypothèse de Gaussianité des innovations. Le bootstrap nous permet de relâcher cette hypothèse et de construire des intervalles de prédiction valides sous des hypothèses plus générales. En outre, même en supposant la Gaussianité, le bootstrap conduit à des intervalles plus précis dans les cas où la dimension transversale est relativement faible car il prend en considération le biais de l'estimateur des moindres carrés ordinaires comme le montre une étude récente de Gonçalves et Perron (2014). Dans le troisième chapitre, nous suggérons des procédures de sélection convergentes pour les regressions augmentées de facteurs en échantillons finis. Nous démontrons premièrement que la méthode de validation croisée usuelle est non-convergente mais que sa généralisation, la validation croisée «leave-d-out» sélectionne le plus petit ensemble de facteurs estimés pour l'espace généré par les vraies facteurs. Le deuxième critère dont nous montrons également la validité généralise l'approximation bootstrap de Shao (1996) pour les regressions augmentées de facteurs. Les simulations montrent une amélioration de la probabilité de sélectionner par- cimonieusement les facteurs estimés comparativement aux méthodes de sélection disponibles. L'application empirique revisite la relation entre les facteurs macroéconomiques et financiers, et l'excès de rendement sur le marché boursier américain. Parmi les facteurs estimés à partir d'un large panel de données macroéconomiques et financières des États Unis, les facteurs fortement correlés aux écarts de taux d'intérêt et les facteurs de Fama-French ont un bon pouvoir prédictif pour les excès de rendement.

Étude de la médiane de permutations sous la distance de Kendall-Tau

La distance de Kendall-τ compte le nombre de paires en désaccord entre deux permuta- tions. La distance d’une permutation à un ensemble est simplement la somme des dis- tances entre cette permutation et les permutations de l’ensemble. À partir d’un ensemble donné de permutations, notre but est de trouver la permutation, appelée médiane, qui minimise cette distance à l’ensemble. Le problème de la médiane de permutations sous la distance de Kendall-τ, trouve son application en bio-informatique, en science politique, en télécommunication et en optimisation. Ce problème d’apparence simple est prouvé difficile à résoudre. Dans ce mémoire, nous présentons plusieurs approches pour résoudre le problème, pour trouver une bonne solution approximative, pour le séparer en classes caractéristiques, pour mieux com- prendre sa compléxité, pour réduire l’espace de recheche et pour accélérer les calculs. Nous présentons aussi, vers la fin du mémoire, une généralisation de ce problème et nous l’étudions avec ces mêmes approches. La majorité du travail de ce mémoire se situe dans les trois articles qui le composent et est complémenté par deux chapitres servant à les lier.

L’influence des capacités cognitives mâles et femelles sur le choix de partenaire chez le diamant mandarin (Taeniopygia guttata)

S’approvisionner en nourriture est essentiel à la survie et au succès reproducteur. Lorsque les animaux font face à des changements environnementaux brutaux, ils doivent s’ajuster rapidement à leur nouvel environnement et parfois même innover dans leur façon de s’approvisionner. Des processus comportementaux et cognitifs, tels que l’innovation et l’apprentissage, permettent aux animaux d'intégrer de nouveaux comportements à leur répertoire comportemental afin de s'adapter de façon optimale. Les performances cognitives varient entre les individus d’une même population et bien que des études récentes se soient intéressées aux causes de ce phénomène, de convaincantes évidences sont manquantes afin d’expliquer pourquoi ces variations sont maintenues. Au cours de ce mémoire, les questions des pressions de sélection s'exerçant sur les performances d’alimentation par une tâche motrice nouvelle sont abordées afin de mieux comprendre l'évolution des capacités cognitives au sein d'une population captive de diamants mandarins (Taeniopygia guttata). Nous avons tout d'abord testé si les femelles diamants mandarins modifient leurs préférences d'accouplement après avoir observé la performance d'alimentation par une tâche motrice nouvelle des mâles. Afin de déterminer si les femelles sont capables de discriminer entre les mâles sur la base de leur capacité cognitive, nous avons également évalué les performances d’apprentissage de chacune d’elles. En effet, des études ont suggéré qu’il peut être coûteux, spécialement en terme de temps, de discriminer entre des partenaires potentiels sur cette base. La généralisation d’une préférence pour un mâle performant à d’autres mâles possédant le même phénotype permettrait la réduction de ces coûts. Nous avons donc finalement testé si les femelles diamants mandarins peuvent généraliser leur préférence après avoir observé les performances d’alimentation pour une tâche motrice nouvelle d’un mâle. Nos résultats suggèrent que les femelles diamants mandarins ne peuvent évaluer les capacités cognitives d’un mâle par l’intermédiaire de traits indicateurs. Toutefois, nous avons démontré qu’une observation directe des performances d’alimentation d’un mâle guide le choix d’appariement des femelles. Également, nous avons montré que les femelles peuvent généraliser l’apparence du mâle le plus performant et utiliser cette information lors de l’évaluation de nouveaux mâles. La relation entre les performances cognitives et le choix de partenaire pourraient s’expliquer par exemple par une meilleure exploitation de l’habitat, mais nécessite des études plus approfondies.

La distribution des zéros des fonctions L

Selon la philosophie de Katz et Sarnak, la distribution des zéros des fonctions $L$ est prédite par le comportement des valeurs propres de matrices aléatoires. En particulier, le comportement des zéros près du point central révèle le type de symétrie de la famille de fonctions $L$. Une fois la symétrie identifiée, la philosophie de Katz et Sarnak conjecture que plusieurs statistiques associées aux zéros seront modélisées par les valeurs propres de matrices aléatoires du groupe correspondant. Ce mémoire étudiera la distribution des zéros près du point central de la famille des courbes elliptiques sur $\mathbb{Q}[i]$. Brumer a effectué ces calculs en 1992 sur la famille de courbes elliptiques sur $\mathbb{Q}$. Les nouvelles problématiques reliées à la généralisation de ses travaux vers un corps de nombres seront mises en évidence