Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Computational Structure of Human Language

The central thesis of this report is that human language is NP-complete. That is, the process of comprehending and producing utterances is bounded above by the class NP, and below by NP-hardness. This constructive complexity thesis has two empirical consequences. The first is to predict that a linguistic theory outside NP is unnaturally powerful. The second is to predict that a linguistic theory easier than NP-hard is descriptively inadequate. To prove the lower bound, I show that the following three subproblems of language comprehension are all NP-hard: decide whether a given sound is possible sound of a given language; disambiguate a sequence of words; and compute the antecedents of pronouns. The proofs are based directly on the empirical facts of the language user's knowledge, under an appropriate idealization. Therefore, they are invariant across linguistic theories. (For this reason, no knowledge of linguistic theory is needed to understand the proofs, only knowledge of English.) To illustrate the usefulness of the upper bound, I show that two widely-accepted analyses of the language user's knowledge (of syntactic ellipsis and phonological dependencies) lead to complexity outside of NP (PSPACE-hard and Undecidable, respectively). Next, guided by the complexity proofs, I construct alternate linguisitic analyses that are strictly superior on descriptive grounds, as well as being less complex computationally (in NP). The report also presents a new framework for linguistic theorizing, that resolves important puzzles in generative linguistics, and guides the mathematical investigation of human language.

Online Learning of Non-stationary Sequences

We consider an online learning scenario in which the learner can make predictions on the basis of a fixed set of experts. The performance of each expert may change over time in a manner unknown to the learner. We formulate a class of universal learning algorithms for this problem by expressing them as simple Bayesian algorithms operating on models analogous to Hidden Markov Models (HMMs). We derive a new performance bound for such algorithms which is considerably simpler than existing bounds. The bound provides the basis for learning the rate at which the identity of the optimal expert switches over time. We find an analytic expression for the a priori resolution at which we need to learn the rate parameter. We extend our scalar switching-rate result to models of the switching-rate that are governed by a matrix of parameters, i.e. arbitrary homogeneous HMMs. We apply and examine our algorithm in the context of the problem of energy management in wireless networks. We analyze the new results in the framework of Information Theory.

Complexity of Human Language Comprehension

The goal of this article is to reveal the computational structure of modern principle-and-parameter (Chomskian) linguistic theories: what computational problems do these informal theories pose, and what is the underlying structure of those computations? To do this, I analyze the computational complexity of human language comprehension: what linguistic representation is assigned to a given sound? This problem is factored into smaller, interrelated (but independently statable) problems. For example, in order to understand a given sound, the listener must assign a phonetic form to the sound; determine the morphemes that compose the words in the sound; and calculate the linguistic antecedent of every pronoun in the utterance. I prove that these and other subproblems are all NP-hard, and that language comprehension is itself PSPACE-hard.

Efficient learning of reactive robot behaviors with a Neural-Q_learning approach

The purpose of this paper is to propose a Neural-Q_learning approach designed for online learning of simple and reactive robot behaviors. In this approach, the Q_function is generalized by a multi-layer neural network allowing the use of continuous states and actions. The algorithm uses a database of the most recent learning samples to accelerate and guarantee the convergence. Each Neural-Q_learning function represents an independent, reactive and adaptive behavior which maps sensorial states to robot control actions. A group of these behaviors constitutes a reactive control scheme designed to fulfill simple missions. The paper centers on the description of the Neural-Q_learning based behaviors showing their performance with an underwater robot in a target following task. Real experiments demonstrate the convergence and stability of the learning system, pointing out its suitability for online robot learning. Advantages and limitations are discussed

WAIS Seminar:Modelling the Web: Examples of modelling language, network evolution and physical-social systems

Speaker(s): Prof. Steffen Staab Organiser: Dr Tim Chown Time: 23/05/2014 10:30-11:30 Location: B53/4025 Abstract The Web is constructed based on our experiences in a multitude of modalities: text, networks, images, physical locations are some examples. Understanding the Web requires from us that we can model these modalities as they appear on the Web. In this talk I will show some examples of how we model text, hyperlink networks and physical-social systems in order to improve our understanding and our use of the Web.

Bibliography profiling of undergraduate theses in a professional psychology program

The bibliographic profile of 125 undergraduate (licentiate) theses was analyzed, describing absolute quantities of several bibliometric variables, as well as within-document indexes and average lags of the references. The results show a consistent pattern across the years in the 6 cohorts included in the sample (2001-2007), with variations, which fall within the robust confi dence intervals for the global central tendency. The median number of references per document was 52 (99% CI 47-55); the median  percentage of journal articles cited was 55%, with a median age for journal references of 9 years. Other highlights of the bibliographic profile were the use of foreign language references (median 61%), and low reliance on open web documents (median 2%). A cluster analysis of the bibliometric indexes resulted  in a typology of 2 main profiles, almost evenly distributed, one of them with the makeup of a natural science bibliographic profile and the second within the style of the humanities. In general, the number of references, proportion of papers, and age of the references are close to PhD dissertations and Master theses, setting a rather high standard for undergraduate theses.

The biofeedback use in motor learning of people with spinal cord injury

The use of biofeedback in the spinal cord injuryperson rehabilitation has been increasing eventhough there are no data about the effi cacy of suchtechnique. The study aimed to evaluate the effi cacyof the technique in the motor rehabilitation ofspinal cord injured patients with different lesions.Using case studies, three participants, two paraplegicsand one quadriplegic, with different lesionlevels and degrees of defi ciency were exposed toelectromyography biofeedback training sessions.Data were obtained from the training sessions withbiofeedback, from three manual test examinationsof the muscles straight and from the reports of theparticipants after the training process. These sourcesof data were compared and the results of all thethree different sources showed improvement forall the participants. The study concluded that theelectromyography biofeedback technique can bean important tool in the rehabilitation process ofpatients with this kind of lesion.

An Empirical Examination of the Determinants of Foreign Direct Investment: A Firm-Level Analysis for the Colombian Economy

We use a large firm level data set to investigate the determinants of foreign direct investment(FDI) in Colombia. We estimate econometric models for the determinants of the probabilitythat a firm receives FDI, as well as for the factors that help to explain the foreign share in afirm’s capital. The results show that firms listed on the stock market, involved in foreign tradeactivities, and operating in sectors with greater capital intensity are more likely to be recipientsof FDI. Also, the probability of a firm receiving FDI is directly related to its size.

Linguistic relativity in foreign language teaching : a didactic proposal. 'Relatividad linguística en la enseñanza de lenguas extranjeras'.

Resumen de la revista

The influence of parents' speech on the development of spoken language in German-speaking children with cochlear implants. 'La influencia del habla de los padres en el desarrollo del lenguaje en niños germanohablantes con implante coclear'.

Resumen en español

Academic and professional writing in English : a study in the pedagogy of second language writing for Spanish university students.

Abarcar la enseñanza de la redacción en inglés como segunda lengua para fines académicos y profesionales en la universidad española. En primer lugar, se establece un marco teórico para la pedagogía de la redacción a base del entendimiento del texto escrito como nexo en una red compleja de relaciones sociales y negociaciones culturales. Luego se lleva a cabo un estudio de la práctica de la redacción en el contexto de la universidad española, con un análisis a fondo de los escritores y sus actitudes y expectativas, por un lado, y sus textos (un ensayo y un informe), por otro. Se analizan los textos usando técnicas cualitativas y cuantitativas. A partir de este estudio inicial, se diseña un proyecto de investigación-acción, en el que dos grupos paralelos de alumnos siguen dos programas diferentes en que se plasman dos aproximaciones distintas a la pedagogía de la redacción: el análisis textual, siguiendo la tradición del inglés para fines específicos y la escuela del género, y el análisis contextual, influenciado por los planteamientos y los procedimientos de la nueva retórica. Los textos resultantes son analizados mediante unas escalas detalladas de evaluación desarrolladas a base de los resultados del primer estudio. Los resultados de los dos programas son positivos, aunque el grupo de análisis contextual demuestra una mejora superior. Para concluir, se esboza una serie de principios que deberán servir de guía para el diseño de los futuros programas de redacción para universitarios españoles.

The handbook of child language.

Primero, se hace una aproximación a distintas teorías y métodos lingüísticos de los últimos treinta años, en los que los investigadores estudian las implicaciones de nuevos modelos, técnicas y de varias disciplinas, psicología, neurociencia cognitiva, inteligencia artificial, filosofía y teoría de la socialización. Después,se ofrece un completo panorama sobre el desarrollo del lenguaje infantil, que abarca todos los aspectos: fonética, fonología, gramática y desarrollo del léxico.

Cultural studies in foreign language education.

Se ocupa de un aspecto de la enseñanza de las lenguas extranjeras que a menudo se ha descuidado y es la comprensión de las culturas y de los pueblos cuyos idiomas se enseñan. Por tanto, se reivindica la enseñanza de lenguas, en la educación secundaria general, en todas las facetas y con un enfoque global. Es un intento de aumentar la conciencia del profesor y del alumno sobre el pleno valor educativo del aprendizaje de otras lenguas.