Apprentissage de représentations sur-complètes par entraînement d’auto-encodeurs

Les avancés dans le domaine de l’intelligence artificielle, permettent à des systèmes informatiques de résoudre des tâches de plus en plus complexes liées par exemple à la vision, à la compréhension de signaux sonores ou au traitement de la langue. Parmi les modèles existants, on retrouve les Réseaux de Neurones Artificiels (RNA), dont la popularité a fait un grand bond en avant avec la découverte de Hinton et al. [22], soit l’utilisation de Machines de Boltzmann Restreintes (RBM) pour un pré-entraînement non-supervisé couche après couche, facilitant grandement l’entraînement supervisé du réseau à plusieurs couches cachées (DBN), entraînement qui s’avérait jusqu’alors très difficile à réussir. Depuis cette découverte, des chercheurs ont étudié l’efficacité de nouvelles stratégies de pré-entraînement, telles que l’empilement d’auto-encodeurs traditionnels(SAE) [5, 38], et l’empilement d’auto-encodeur débruiteur (SDAE) [44]. C’est dans ce contexte qu’a débuté la présente étude. Après un bref passage en revue des notions de base du domaine de l’apprentissage machine et des méthodes de pré-entraînement employées jusqu’à présent avec les modules RBM, AE et DAE, nous avons approfondi notre compréhension du pré-entraînement de type SDAE, exploré ses différentes propriétés et étudié des variantes de SDAE comme stratégie d’initialisation d’architecture profonde. Nous avons ainsi pu, entre autres choses, mettre en lumière l’influence du niveau de bruit, du nombre de couches et du nombre d’unités cachées sur l’erreur de généralisation du SDAE. Nous avons constaté une amélioration de la performance sur la tâche supervisée avec l’utilisation des bruits poivre et sel (PS) et gaussien (GS), bruits s’avérant mieux justifiés que celui utilisé jusqu’à présent, soit le masque à zéro (MN). De plus, nous avons démontré que la performance profitait d’une emphase imposée sur la reconstruction des données corrompues durant l’entraînement des différents DAE. Nos travaux ont aussi permis de révéler que le DAE était en mesure d’apprendre, sur des images naturelles, des filtres semblables à ceux retrouvés dans les cellules V1 du cortex visuel, soit des filtres détecteurs de bordures. Nous aurons par ailleurs pu montrer que les représentations apprises du SDAE, composées des caractéristiques ainsi extraites, s’avéraient fort utiles à l’apprentissage d’une machine à vecteurs de support (SVM) linéaire ou à noyau gaussien, améliorant grandement sa performance de généralisation. Aussi, nous aurons observé que similairement au DBN, et contrairement au SAE, le SDAE possédait une bonne capacité en tant que modèle générateur. Nous avons également ouvert la porte à de nouvelles stratégies de pré-entraînement et découvert le potentiel de l’une d’entre elles, soit l’empilement d’auto-encodeurs rebruiteurs (SRAE).

The great asymmetry : America's closest allies in times of war

This dissertation focuses on military cooperation between the United States and its special allies. It argues that alliance expectations determine the level of military cooperation, while two intervening variables - the level of government cohesion and military capabilities - determine its implementation. This study also shows how secondary states deploy strategies to overcome power asymmetries through bilateral concessions, international organizations and by appealing to principle. The focus of the research is on special allies, as they have the most to gain or lose by going along with American plans. My contention is that secondary allies can rarely influence the dominant ally decisively, but they can act autonomously and resist to pressures exerted by the stronger alliance partner. The argument builds on three central claims. First, power asymmetries between allies translate into different assessments of international threats. Second, when disagreements over threats arise, the outcome of intra-alliance bargaining is not necessarily dictated by the preferences of the stronger power. Third, secondary states, as opposed to the dominant partner, face unique constraints when facing major foreign policy decisions, i.e. they face a trade-off between establishing a credible reputation as an alliance partner in a politically feasible way while minimizing domestic audience costs. To examine the theoretical puzzle presented by asymmetric military cooperation, I introduce a causal explanation that builds on neoclassical realism, to zone in on the interaction between systemic and domestic variables. My research makes a contribution to alliance theory and foreign policy decision-making by studying how special allies respond to American decisions in times of threat and how systemic constraints are channeled through state-level variables. To investigate the causal link between threat perception, alliance expectations and domestic constraints, this study relies on the method of structured focused comparison with three detailed case studies. The focus is on the initial decision made by special allies regarding whether or not to participle in joint mobilization with the United States. The decision-making process is presented from the perspective of secondary allied states and measures the explanatory factors that motivated the decision on military cooperation. The case studies are the UK, Canada and Australia’s response to the war in Afghanistan and the war in Iraq during the period of 2001 to 2003.