3 resultados para Scaling laws
em Université de Montréal, Canada
Resumo:
Affirmer que les citoyens des démocraties occidentales sont l’objet d’une surveillance systématique efficace et à grande échelle a de quoi provoquer une réaction incrédule. Démagogie, diront certains. Pourtant, les progrès réalisés dans les technologies de collecte, de traitement et de stockage d’information forcent une réflexion sur cette hypothèse. Il a été souligné justement que les coûts élevés liés aux moyens rudimentaires employés par les polices secrètes d’antan endiguaient en quelque sorte la menace. Les filatures, les infiltrations, les rapts nocturnes de dissidents pêchaient par manque de subtilité. Au contraire, le génie des techniques modernes vient de ce qu’elles n’entravent pas le quotidien des gens. Mais au-delà du raffinement technique, le contrôle panoptique de la masse atteint un sommet d’efficience dès lors que celle-ci est amenée à y consentir. Comme le faisait remarquer le professeur Raab : « [TRADUCTION] La surveillance prospère naturellement dans les régimes autoritaires qui ne s’exposent pas au débat public ni à la critique. Lorsqu’elle est utilisée dans des régimes dits démocratiques, elle est légitimée et circonscrite par des arguments de nécessité ou de justifications spéciales, tout comme la censure »[1]. Or, le droit, en tant que discours de rationalité, accomplit savamment ce travail de légitimation. C’est dans cet esprit qu’une analyse radicale des règles de droit encadrant le droit à la vie privée apporte une lucidité nouvelle sur notre faux sentiment de sécurité.
Resumo:
Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.