Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

FPGA-based object detection using classification circuits

Dans l'apprentissage machine, la classification est le processus d’assigner une nouvelle observation à une certaine catégorie. Les classifieurs qui mettent en œuvre des algorithmes de classification ont été largement étudié au cours des dernières décennies. Les classifieurs traditionnels sont basés sur des algorithmes tels que le SVM et les réseaux de neurones, et sont généralement exécutés par des logiciels sur CPUs qui fait que le système souffre d’un manque de performance et d’une forte consommation d'énergie. Bien que les GPUs puissent être utilisés pour accélérer le calcul de certains classifieurs, leur grande consommation de puissance empêche la technologie d'être mise en œuvre sur des appareils portables tels que les systèmes embarqués. Pour rendre le système de classification plus léger, les classifieurs devraient être capable de fonctionner sur un système matériel plus compact au lieu d'un groupe de CPUs ou GPUs, et les classifieurs eux-mêmes devraient être optimisés pour ce matériel. Dans ce mémoire, nous explorons la mise en œuvre d'un classifieur novateur sur une plate-forme matérielle à base de FPGA. Le classifieur, conçu par Alain Tapp (Université de Montréal), est basé sur une grande quantité de tables de recherche qui forment des circuits arborescents qui effectuent les tâches de classification. Le FPGA semble être un élément fait sur mesure pour mettre en œuvre ce classifieur avec ses riches ressources de tables de recherche et l'architecture à parallélisme élevé. Notre travail montre que les FPGAs peuvent implémenter plusieurs classifieurs et faire les classification sur des images haute définition à une vitesse très élevée.

On the dynamic effects of fiscal policy

Dans le sillage de la récession mondiale de 2008-09, plusieurs questions ont été soulevées dans la littérature économique sur les effets à court et à long terme de la politique budgétaire sur l’activité économique par rapport à son signe, sa taille et sa durée. Ceux-ci ont des implications importantes pour mieux comprendre les canaux de transmission et l’efficacité des politiques budgétaires, avec la politique monétaire étant poursuivi, ainsi que pour leurs retombées économiques. Cette thèse fait partie de ce regain d’intérêt de la littérature d’examiner comment les changements dans la politique budgétaire affectent l’activité économique. Elle repose alors sur trois essais: les effets macroéconomiques des chocs de dépenses publiques et des recettes fiscales, les résultats macroéconomiques de l’interaction entre les politiques budgétaire et monétaire et le lien entre la politique budgétaire et la répartition des revenus. Le premier chapitre examine les effets des chocs de politique budgétaire (chocs de dépenses publiques et chocs de recettes fiscales) sur l’économie canadienne au cours de la période 1970-2010, en s’appuyant sur la méthode d’identification des restrictions de signe développée par Mountford et Uhlig [2009]. En réponse à la récession mondiale, les autorités fiscales dans les économies avancées, dont le Canada ont généralement mis en oeuvre une approche en deux phases pour la politique budgétaire. Tout d’abord, ils ont introduit des plans de relance sans précédent pour relancer leurs économies. Par exemple, les mesures de relance au Canada, introduites à travers le Plan d’action économique du Canada, ont été projetées à 3.2 pour cent du PIB dans le budget fédéral de 2009 tandis que l’ "American Recovery and Reinvestment Act"(ARRA) a été estimé à 7 pour cent du PIB. Par la suite, ils ont mis en place des plans d’ajustement en vue de réduire la dette publique et en assurer la soutenabilité à long terme. Dans ce contexte, évaluer les effets multiplicateurs de la politique budgétaire est important en vue d’informer sur l'efficacité de telles mesures dans la relance ou non de l'activité économique. Les résultats montrent que les multiplicateurs d'impôt varient entre 0.2 et 0.5, tandis que les multiplicateurs de dépenses varient entre 0.2 et 1.1. Les multiplicateurs des dépenses ont tendance à être plus grand que les multiplicateurs des recettes fiscales au cours des deux dernières décennies. Comme implications de politique économique, ces résultats tendent à suggérer que les ajustements budgétaires par le biais de grandes réductions de dépenses publiques pourraient être plus dommageable pour l'économie que des ajustements budgétaires par la hausse des impôts. Le deuxième chapitre, co-écrit avec Constant Lonkeng Ngouana, estime les effets multiplicateurs des dépenses publiques aux Etats-Unis en fonction du cycle de la politique monétaire. Les chocs de dépenses publiques sont identifiés comme étant des erreurs de prévision du taux de croissance des dépenses publiques à partir des données d'Enquêtes des prévisionnistes professionnels et des informations contenues dans le "Greenbook". L'état de la politique monétaire est déduite à partir de la déviation du taux des fonds fédéraux du taux cible de la Réserve Fédérale, en faisant recours à une fonction lisse de transition. L'application de la méthode des «projections locales» aux données trimestrielles américaines au cours de la période 1965-2012 suggère que les effets multiplicateurs des dépenses fédérales sont sensiblement plus élevées quand la politique monétaire est accommodante que lorsqu'elle ne l'est pas. Les résultats suggèrent aussi que les dépenses fédérales peuvent stimuler ou non la consommation privée, dépendamment du degré d’accommodation de la politique monétaire. Ce dernier résultat réconcilie ainsi, sur la base d’un cadre unifié des résultats autrement contradictoires à première vue dans la littérature. Ces résultats ont d'importantes implications de politique économique. Ils suggèrent globalement que la politique budgétaire est plus efficace lorsqu'on en a le plus besoin (par exemple, lorsque le taux de chômage est élevé), si elle est soutenue par la politique monétaire. Ils ont également des implications pour la normalisation des conditions monétaires dans les pays avancés: la sortie des politiques monétaires non-conventionnelles conduirait à des multiplicateurs de dépenses fédérales beaucoup plus faibles qu'autrement, même si le niveau de chômage restait élevé. Ceci renforce la nécessité d'une calibration prudente du calendrier de sortie des politiques monétaires non-conventionnelles. Le troisième chapitre examine l'impact des mesures d'expansion et de contraction budgétaire sur la distribution des revenus dans un panel de 18 pays d'Amérique latine au cours de la période 1990-2010, avec un accent sur les deniers 40 pour cent. Il explore alors comment ces mesures fiscales ainsi que leur composition affectent la croissance des revenus des dernier 40 pour cent, la croissance de leur part de revenu ainsi que la croissance économique. Les mesures d'expansion et de contraction budgétaire sont identifiées par des périodes au cours desquels il existe une variation significative du déficit primaire corrigé des variations conjoncturelles en pourcentage du PIB. Les résultats montrent qu'en moyenne l'expansion budgétaire par la hausse des dépenses publiques est plus favorable à la croissance des revenus des moins bien-nantis que celle par la baisse des impôts. Ce résultat est principalement soutenu par la hausse des dépenses gouvernementales de consommation courante, les transferts et subventions. En outre ces mesures d’expansion budgétaire sont favorables à la réduction des inégalités car elles permettent d'améliorer la part des revenus des moins bien-nantis tout en réduisant la part des revenus des mieux-nantis de la distribution des revenus. En outre ces mesures d’expansion budgétaire sont favorables à la réduction des inégalités car elles permettent d'améliorer la part des revenus des moins bien-nantis tout en réduisant la part des revenus des mieux-nantis de la distribution des revenus. Cependant, l'expansion budgétaire pourrait soit n'avoir aucun effet sur la croissance économique ou entraver cette dernière à travers la hausse des dépenses en capital. Les résultats relatifs à la contraction budgétaire sont quelque peu mitigés. Parfois, les mesures de contraction budgétaire sont associées à une baisse de la croissance des revenus des moins bien nantis et à une hausse des inégalités, parfois l'impact de ces mesures est non significatif. Par ailleurs, aucune des mesures n’affecte de manière significative la croissance du PIB. Comme implications de politique économique, les pays avec une certaine marge de manœuvre budgétaire pourraient entamer ou continuer à mettre en œuvre des programmes de "filets de sauvetage"--par exemple les programmes de transfert monétaire conditionnel--permettant aux segments vulnérables de la population de faire face à des chocs négatifs et aussi d'améliorer leur conditions de vie. Avec un potentiel de stimuler l'emploi peu qualifié, une relance budgétaire sage par les dépenses publique courantes pourrait également jouer un rôle important pour la réduction des inégalités. Aussi, pour éviter que les dépenses en capital freinent la croissance économique, les projets d'investissements publics efficients devraient être prioritaires dans le processus d'élaboration des politiques. Ce qui passe par la mise en œuvre des projets d'investissement avec une productivité plus élevée capable de générer la croissance économique nécessaire pour réduire les inégalités.

Trois essais en macroéconomie

Les fluctuations économiques représentent les mouvements de la croissance économique. Celle-ci peut connaître des phases d'accélération (expansion) ou de ralentissement (récession), voire même de dépression si la baisse de production est persistente. Les fluctuations économiques sont liées aux écarts entre croissance effective et croissance potentielle. Elles peuvent s'expliquer par des chocs d'offre et demande, ainsi que par le cycle du crédit. Dans le premier cas, les conditions de la production se trouvent modifiées. C'est le cas lorsque le prix des facteurs de production (salaires, prix des matières premières) ou que des facteurs externes influençant le prix des produits (taux de change) évolue. Ainsi, une hausse du prix des facteurs de production provoque un choc négatif et ralentit la croissance. Ce ralentissement peut être également dû à un choc de demande négatif provoqué par une hausse du prix des produits causée par une appréciation de la devise, engendrant une diminution des exportations. Le deuxième cas concerne les variables financières et les actifs financiers. Ainsi, en période d'expansion, les agents économiques s'endettent et ont des comportements spéculatifs en réaction à des chocs d'offre ou demande anticipés. La valeur des titres et actifs financiers augmente, provoquant une bulle qui finit par éclater et provoquer un effondrement de la valeur des biens. Dès lors, l'activité économique ne peut plus être financée. C'est ce qui génère une récession, parfois profonde, comme lors de la récente crise financière. Cette thèse inclut trois essais sur les fluctuations macroéconomiques et les cycles économiques, plus précisément sur les thèmes décrit ci-dessus. Le premier chapitre s'intéresse aux anticipations sur la politique monétaire et sur la réaction des agents écononomiques face à ces anticipations. Une emphase particulière est mise sur la consommation de biens durables et l'endettement relié à ce type de consommation. Le deuxième chapitre aborde la question de l'influence des variations du taux de change sur la demande de travail dans le secteur manufacturier canadien. Finalement, le troisième chapitre s'intéresse aux retombées économiques, parfois négatives, du marché immobilier sur la consommation des ménages et aux répercussions sur le prix des actifs immobiliers et sur l'endettement des ménages d'anticipations infondées sur la demande dans le marché immobilier. Le premier chapitre, intitulé ``Monetary Policy News Shocks and Durable Consumption'', fournit une étude sur le lien entre les dépenses en biens durables et les chocs monétaires anticipés. Nous proposons et mettons en oeuvre une nouvelle approche pour identifier les chocs anticipés (nouvelles) de politique monétaire, en les identifiant de manière récursive à partir des résidus d’une règle de Taylor estimée à l’aide de données de sondage multi-horizon. Nous utilisons ensuite les chocs anticipés inférer dans un modèle autorégressif vectoriel structurel (ARVS). L’anticipation d’une politique de resserrement monétaire mène à une augmentation de la production, de la consommation de biens non-durables et durables, ainsi qu’à une augmentation du prix réel des biens durables. Bien que les chocs anticipés expliquent une part significative des variations de la production et de la consommation, leur impact est moindre que celui des chocs non-anticipés sur les fluctuations économiques. Finalement, nous menons une analyse théorique avec un modèle d’équilibre général dynamique stochastique (EGDS) avec biens durables et rigidités nominales. Les résultats indiquent que le modèle avec les prix des biens durables rigides peut reproduire la corrélation positive entre les fonctions de réponse de la consommation de biens non-durables et durables à un choc anticipé de politique monétaire trouvées à l’aide du ARVS. Le second chapitre s'intitule ``Exchange Rate Fluctuations and Labour Market Adjustments in Canadian Manufacturing Industries''. Dans ce chapitre, nous évaluons la sensibilité de l'emploi et des heures travaillées dans les industries manufacturières canadiennes aux variations du taux de change. L’analyse est basée sur un modèle dynamique de demande de travail et utilise l’approche en deux étapes pour l'estimation des relations de cointégration en données de panel. Nos données sont prises d’un panel de 20 industries manufacturières, provenant de la base de données KLEMS de Statistique Canada, et couvrent une longue période qui inclut deux cycles complets d’appréciation-dépréciation de la valeur du dollar canadien. Les effets nets de l'appréciation du dollar canadien se sont avérés statistiquement et économiquement significatifs et négatifs pour l'emploi et les heures travaillées, et ses effets sont plus prononcés dans les industries davantage exposées au commerce international. Finalement, le dernier chapitre s'intitule ``Housing Market Dynamics and Macroprudential Policy'', dans lequel nous étudions la relation statistique suggérant un lien collatéral entre le marché immobilier and le reste de l'économique et si ce lien est davantage entraîné par des facteurs de demandes ou d'offres. Nous suivons également la littérature sur les chocs anticipés et examinons un cyle d'expansion-récession peut survenir de façon endogène la suite d'anticipations non-réalisées d'une hausse de la demande de logements. À cette fin, nous construisons un modèle néo-Keynésien au sein duquel le pouvoir d’emprunt du partie des consommateurs est limité par la valeur de leur patrimoine immobilier. Nous estimons le modèle en utilisant une méthode Bayésienne avec des données canadiennes. Nous évaluons la capacité du modèle à capter les caractéristiques principales de la consommation et du prix des maisons. Finalement, nous effectuons une analyse pour déterminer dans quelle mesure l'introduction d'un ratio prêt-à-la-valeur contracyclique peut réduire l'endettement des ménages et les fluctuations du prix des maisons comparativement à une règle de politique monétaire répondant à l'inflation du prix des maisons. Nous trouvons une relation statistique suggérant un important lien collatéral entre le marché immobilier et le reste de l'économie, et ce lien s'explique principalement par des facteurs de demande. Nous constatons également que l'introduction de chocs anticipés peut générer un cycle d'expansion-récession du marché immobilier, la récession faisant suite aux attentes non-réalisées par rapport à la demande de logements. Enfin, notre étude suggère également qu'un ratio contracyclique de prêt-à-la-valeur est une politique utile pour réduire les retombées du marché du logement sur la consommation par l'intermédiaire de la valeur garantie.

Designing Regularizers and Architectures for Recurrent Neural Networks

Cette thèse contribue a la recherche vers l'intelligence artificielle en utilisant des méthodes connexionnistes. Les réseaux de neurones récurrents sont un ensemble de modèles séquentiels de plus en plus populaires capable en principe d'apprendre des algorithmes arbitraires. Ces modèles effectuent un apprentissage en profondeur, un type d'apprentissage machine. Sa généralité et son succès empirique en font un sujet intéressant pour la recherche et un outil prometteur pour la création de l'intelligence artificielle plus générale. Le premier chapitre de cette thèse donne un bref aperçu des sujets de fonds: l'intelligence artificielle, l'apprentissage machine, l'apprentissage en profondeur et les réseaux de neurones récurrents. Les trois chapitres suivants couvrent ces sujets de manière de plus en plus spécifiques. Enfin, nous présentons quelques contributions apportées aux réseaux de neurones récurrents. Le chapitre \ref{arxiv1} présente nos travaux de régularisation des réseaux de neurones récurrents. La régularisation vise à améliorer la capacité de généralisation du modèle, et joue un role clé dans la performance de plusieurs applications des réseaux de neurones récurrents, en particulier en reconnaissance vocale. Notre approche donne l'état de l'art sur TIMIT, un benchmark standard pour cette tâche. Le chapitre \ref{cpgp} présente une seconde ligne de travail, toujours en cours, qui explore une nouvelle architecture pour les réseaux de neurones récurrents. Les réseaux de neurones récurrents maintiennent un état caché qui représente leurs observations antérieures. L'idée de ce travail est de coder certaines dynamiques abstraites dans l'état caché, donnant au réseau une manière naturelle d'encoder des tendances cohérentes de l'état de son environnement. Notre travail est fondé sur un modèle existant; nous décrivons ce travail et nos contributions avec notamment une expérience préliminaire.