Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Logiciel de génération de nombres aléatoires dans OpenCL

clRNG et clProbdist sont deux interfaces de programmation (APIs) que nous avons développées pour la génération de nombres aléatoires uniformes et non uniformes sur des dispositifs de calculs parallèles en utilisant l’environnement OpenCL. La première interface permet de créer au niveau d’un ordinateur central (hôte) des objets de type stream considérés comme des générateurs virtuels parallèles qui peuvent être utilisés aussi bien sur l’hôte que sur les dispositifs parallèles (unités de traitement graphique, CPU multinoyaux, etc.) pour la génération de séquences de nombres aléatoires. La seconde interface permet aussi de générer au niveau de ces unités des variables aléatoires selon différentes lois de probabilité continues et discrètes. Dans ce mémoire, nous allons rappeler des notions de base sur les générateurs de nombres aléatoires, décrire les systèmes hétérogènes ainsi que les techniques de génération parallèle de nombres aléatoires. Nous présenterons aussi les différents modèles composant l’architecture de l’environnement OpenCL et détaillerons les structures des APIs développées. Nous distinguons pour clRNG les fonctions qui permettent la création des streams, les fonctions qui génèrent les variables aléatoires uniformes ainsi que celles qui manipulent les états des streams. clProbDist contient les fonctions de génération de variables aléatoires non uniformes selon la technique d’inversion ainsi que les fonctions qui permettent de retourner différentes statistiques des lois de distribution implémentées. Nous évaluerons ces interfaces de programmation avec deux simulations qui implémentent un exemple simplifié d’un modèle d’inventaire et un exemple d’une option financière. Enfin, nous fournirons les résultats d’expérimentation sur les performances des générateurs implémentés.

Points de vue de femmes incarcérées dans des établissements fédéraux concernant les impacts du contexte carcéral sur leur trajectoire de consommation de drogues

La consommation de substances psychoactives (SPA) chez les femmes détenues ne fait que très rarement l’objet de recherches. Pourtant, l’usage de SPA chez les femmes judiciarisées avant leur incarcération est fréquent. Le matériel qualitatif traité dans le cadre de cet article de même que les analyses qui en découlent visent à améliorer notre compréhension des trajectoires de consommation des femmes incarcérées et à aborder des dimensions essentielles de la vie de ces femmes qui méritent d’être mieux comprises des intervenants et des chercheurs. À partir d’une recherche à devis mixte s’intéressant aux trajectoires de consommation des femmes détenues (avant et pendant l’incarcération) dans cinq établissements carcéraux du Canada, trois thèmes reliés à l’expérience d’enfermement carcéral en rapport avec la consommation de drogues ont émergé des discours : le moment charnière, la trêve, les blâmes. L’exercice fut réalisé à partir des propos de 38 femmes ayant à la fois affirmé éprouver un quelconque problème avec l’alcool ou une autre drogue avant leur incarcération et ayant abordé spontanément la question de l’effet de l’incarcération sur leur cheminement en regard de la consommation.

Stressors and turning points in high school and dropout : a stress process, life course framework

High school dropout is commonly seen as the result of a long-term process of failure and disengagement. As useful as it is, this view has obscured the heterogeneity of pathways leading to dropout. Research suggests, for instance, that some students leave school not as a result of protracted difficulties but in response to situations that emerge late in their schooling careers, such as health problems or severe peer victimization. Conversely, others with a history of early difficulties persevere when their circumstances improve during high school. Thus, an adequate understanding of why and when students drop out requires a consideration of both long-term vulnerabilities and proximal disruptive events and contingencies. The goal of this review is to integrate long-term and immediate determinants of dropout by proposing a stress process, life course model of dropout. This model is also helpful for understanding how the determinants of dropout vary across socioeconomic conditions and geographical and historical contexts.

A generic formula for the values at the boundary points of monic classical orthogonal polynomials

In a previous paper we have determined a generic formula for the polynomial solution families of the well-known differential equation of hypergeometric type σ(x)y"n(x)+τ(x)y'n(x)-λnyn(x)=0. In this paper, we give another such formula which enables us to present a generic formula for the values of monic classical orthogonal polynomials at their boundary points of definition.

Matching Interest Points Using Projective Invariant Concentric Circles

We present a new method to perform reliable matching between different images. This method exploits a projective invariant property between concentric circles and the corresponding projected ellipses to find complete region correspondences centered on interest points. The method matches interest points allowing for a full perspective transformation and exploiting all the available luminance information in the regions. Experiments have been conducted on many different data sets to compare our approach to SIFT local descriptors. The results show the new method offers increased robustness to partial visibility, object rotation in depth, and viewpoint angle change.

Alternative ways to estimate change points in multinomial sequences. An application to an authorship attribution problem

The statistical analysis of literary style is the part of stylometry that compares measurable characteristics in a text that are rarely controlled by the author, with those in other texts. When the goal is to settle authorship questions, these characteristics should relate to the author’s style and not to the genre, epoch or editor, and they should be such that their variation between authors is larger than the variation within comparable texts from the same author. For an overview of the literature on stylometry and some of the techniques involved, see for example Mosteller and Wallace (1964, 82), Herdan (1964), Morton (1978), Holmes (1985), Oakes (1998) or Lebart, Salem and Berry (1998). Tirant lo Blanc, a chivalry book, is the main work in catalan literature and it was hailed to be “the best book of its kind in the world” by Cervantes in Don Quixote. Considered by writters like Vargas Llosa or Damaso Alonso to be the first modern novel in Europe, it has been translated several times into Spanish, Italian and French, with modern English translations by Rosenthal (1996) and La Fontaine (1993). The main body of this book was written between 1460 and 1465, but it was not printed until 1490. There is an intense and long lasting debate around its authorship sprouting from its first edition, where its introduction states that the whole book is the work of Martorell (1413?-1468), while at the end it is stated that the last one fourth of the book is by Galba (?-1490), after the death of Martorell. Some of the authors that support the theory of single authorship are Riquer (1990), Chiner (1993) and Badia (1993), while some of those supporting the double authorship are Riquer (1947), Coromines (1956) and Ferrando (1995). For an overview of this debate, see Riquer (1990). Neither of the two candidate authors left any text comparable to the one under study, and therefore discriminant analysis can not be used to help classify chapters by author. By using sample texts encompassing about ten percent of the book, and looking at word length and at the use of 44 conjunctions, prepositions and articles, Ginebra and Cabos (1998) detect heterogeneities that might indicate the existence of two authors. By analyzing the diversity of the vocabulary, Riba and Ginebra (2000) estimates that stylistic boundary to be near chapter 383. Following the lead of the extensive literature, this paper looks into word length, the use of the most frequent words and into the use of vowels in each chapter of the book. Given that the features selected are categorical, that leads to three contingency tables of ordered rows and therefore to three sequences of multinomial observations. Section 2 explores these sequences graphically, observing a clear shift in their distribution. Section 3 describes the problem of the estimation of a suden change-point in those sequences, in the following sections we propose various ways to estimate change-points in multinomial sequences; the method in section 4 involves fitting models for polytomous data, the one in Section 5 fits gamma models onto the sequence of Chi-square distances between each row profiles and the average profile, the one in Section 6 fits models onto the sequence of values taken by the first component of the correspondence analysis as well as onto sequences of other summary measures like the average word length. In Section 7 we fit models onto the marginal binomial sequences to identify the features that distinguish the chapters before and after that boundary. Most methods rely heavily on the use of generalized linear models

Critical Points pdf

Exam questions and solutions in PDF

Critical Points

Exam questions and solutions in LaTex

ALPS Workshop 2 p12 Adult learner bullet points

Animation

The roman invasion : from different points of view.

Texto con ilustraciones destinado a los alumnos de Primaria para que aprendan acontecimientos históricos desde los diferentes puntos de vista de sus protagonistas. Aquí se narra el enfrentamiento entre el emperador Claudio y el jefe de las tribus de Britania ante la invasión romana de la isla.

The vikings : from different points of view.

Los acontecimientos históricos se acercan a los alumnos de Primaria desde los diferentes puntos de vista de sus protagonistas. Se narra la vida y viajes del pueblo vikingo y su ataque a Inglaterra como la lucha de un pueblo procedente de un país pobre en busca de una tierra rica.

Points de vue d'acteurs scolaires et d'intervenants communautaires sur les besoins d?????l??ves immigrants et de leur famille dans des ??coles d??favoris??es ?? Montr??al

Resumen basado en el de la publicaci??n

The hardness profile as a tool to detect spurious stationary points in the potential energy surface

The energy and hardness profile for a series of inter and intramolecular conformational changes at several levels of calculation were computed. The hardness profiles were found to be calculated as the difference between the vertical ionization potential and electron affinity. The hardness profile shows the correct number of stationary points independently of the basis set and methodology used. It was found that the hardness profiles can be used to check the reliability of the energy profiles for those chemical system