Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Learning and Adjustment Outcomes in Socialized and Unsocialized Newcomers : An Ex- Post-Facto Comparative Study

Les restructurations et les mutations de plus en plus nombreuses dans les entreprises font évoluer la trajectoire de carrière des employés vers un cheminement moins linéaire et amènent une multiplication des changements de rôle (Delobbe & Vandenberghe, 2000). Les organisations doivent de plus en plus se soucier de l’intégration de ces nouveaux employés afin de leur transmettre les éléments fondamentaux du fonctionnement et de la culture qu’elles privilégient. Par contre, la plupart des recherches sur la socialisation organisationnelle portent sur les « meilleures pratiques », et les résultats qui en découlent sont mixtes. Cette étude comparative cherche à déterminer si et sur quelles variables les nouveaux employés socialisés par leur entreprise diffèrent des nouveaux employés « non socialisés ». Premièrement, cette étude vise à comparer ces deux groupes sur 1) les résultantes proximales (la maîtrise du contenu de la socialisation organisationnelle et la clarté de rôle) et 2) les résultantes distales (l’engagement organisationnel affectif, la satisfaction au travail et l’intention de quitter) du processus de socialisation organisationnelle, ainsi que sur 3) les caractéristiques des réseaux sociaux d’information, en contrôlant pour la proactivité. Dans un second temps, cette étude a pour objectif d’explorer si le processus de socialisation organisationnelle (les relations entre les variables) diffère entre les nouveaux employés socialisés ou non. Cinquante-trois nouveaux employés (moins d’un an d’ancienneté) d’une grande entreprise québécoise ont participé à cette étude. L’entreprise a un programme de socialisation en place, mais son exécution est laissée à la discrétion de chaque département, créant deux catégories de nouveaux employés : ceux qui ont été socialisés par leur département, et ceux qui n’ont pas été socialisés (« non socialisés »). Les participants ont été sondés sur les stratégies proactives, les résultantes proximales et distales et les caractéristiques des réseaux sociaux d’information. Pour le premier objectif, les résultats indiquent que les nouveaux employés socialisés maîtrisent mieux le contenu de la socialisation organisationnelle que les nouveaux employés non socialisés. En ce qui a trait au deuxième objectif, des différences dans le processus de socialisation organisationnelle ont été trouvées. Pour les nouveaux employés « non socialisés », la recherche proactive d’informations et la recherche de rétroaction sont liées à certaines caractéristiques des réseaux sociaux, alors que le cadrage positif est lié à la satisfaction au travail et à l’intention de quitter, et que la clarté de rôle est liée uniquement à la satisfaction au travail. Les nouveaux employés socialisés, quant à eux, démontrent des liens entre la maîtrise du contenu de la socialisation organisationnelle et chacune des résultantes distales (l’engagement organisationnel affectif, la satisfaction au travail et l’intention de quitter). Globalement, l’intégration des nouveaux employés non socialisés serait plutôt influencée par leurs stratégies proactives, tandis que celle des nouveaux employés non socialisés serait facilitée par leur maîtrise du contenu de la socialisation organisationnelle. De façon générale, cette étude comparative offre un aperçu intéressant des nouveaux employés rarement trouvé dans les recherches portant sur les « meilleures pratiques » de la socialisation organisationnelle. Des recommandations pour la recherche et la pratique en suivent.

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Non invasive classification system of scoliosis curve types using least-squares support vector machines

Objective To determine scoliosis curve types using non invasive surface acquisition, without prior knowledge from X-ray data. Methods Classification of scoliosis deformities according to curve type is used in the clinical management of scoliotic patients. In this work, we propose a robust system that can determine the scoliosis curve type from non invasive acquisition of the 3D back surface of the patients. The 3D image of the surface of the trunk is divided into patches and local geometric descriptors characterizing the back surface are computed from each patch and constitute the features. We reduce the dimensionality by using principal component analysis and retain 53 components using an overlap criterion combined with the total variance in the observed variables. In this work, a multi-class classifier is built with least-squares support vector machines (LS-SVM). The original LS-SVM formulation was modified by weighting the positive and negative samples differently and a new kernel was designed in order to achieve a robust classifier. The proposed system is validated using data from 165 patients with different scoliosis curve types. The results of our non invasive classification were compared with those obtained by an expert using X-ray images. Results The average rate of successful classification was computed using a leave-one-out cross-validation procedure. The overall accuracy of the system was 95%. As for the correct classification rates per class, we obtained 96%, 84% and 97% for the thoracic, double major and lumbar/thoracolumbar curve types, respectively. Conclusion This study shows that it is possible to find a relationship between the internal deformity and the back surface deformity in scoliosis with machine learning methods. The proposed system uses non invasive surface acquisition, which is safe for the patient as it involves no radiation. Also, the design of a specific kernel improved classification performance.

Learning From Cross Country Experiences In Housing: A Micro Finance Approach For Inclusive Housing In India

Housing is one of the primary human needs. It is second only to the need for food and clothing. From a macro perspective, housing is an industry that can prove itself to be a growth engine for a nation, particularly a developing nation like India. Housing has been one of the top priorities for the various governments in India since the seventies. The need for housing has been increasing at a phenomenal pace in India and so also the need for housing finance. Since the growth in supply of housing could not keep pace with the growth in its demand, housing shortage has been on the rise over the years. Housing finance industry which was relatively dormant till the early nineties underwent sweeping changes ever since the initiation of financial sector deregulation measures. Financial deregulation measures brought about several changes in this industry, the first and foremost being the fast growth rate in the industry coupled with cutthroat competition among the industry players. This trend has been quite prominent since the entry of commercial banks into this arena. Accordingly, there has been a surge in the growth of retail (personal) loans segment, particularly in respect of housing loans. This is evident from the fact that housing loans disbursed by banks as a percentage of their total loans has increased from just 2.79% as of end-March 1997 to as high as 12.52% as of end-March 2007. Thus, there has been an unprecedented growth rate in the disbursement of housing loans by banks, and as of 31 March 2007 the outstanding balance of housing loans by all banks in India stands at Rs.230689 Crore, as against just Rs.7946 Crore as of 31 March 1997, the growth rate being 35.82 %CAGR (for the eleven years’ period, FY 1997-‘2007). However, in spite of the impressive growth in housing finance over the years, there are growing apprehensions regarding its inclusiveness, i.e. accessibility to the common man, the underprivileged sections of the society to housing finance etc. Of late, it is widely recognized that formal housing finance system, particularly the commercial banks (CBs) – most dominant among the players – is fast becoming exclusive in operations, with nearly 90% of the total housing credit going to the rich and upper middle income group, primarily the salaried class. The case of housing finance companies (HFCs) is quite similar in this regard. The poor and other marginalized sections are often deprived of adequate credit facilities for housing purpose. Studies have revealed that urban housing poverty is much more acute than the rural probably because of the very fast process of urbanization coupled with constant rural to urban migration

Efficient data mining based on formal concept analysis

Formal Concept Analysis is an unsupervised learning technique for conceptual clustering. We introduce the notion of iceberg concept lattices and show their use in Knowledge Discovery in Databases (KDD). Iceberg lattices are designed for analyzing very large databases. In particular they serve as a condensed representation of frequent patterns as known from association rule mining. In order to show the interplay between Formal Concept Analysis and association rule mining, we discuss the algorithm TITANIC. We show that iceberg concept lattices are a starting point for computing condensed sets of association rules without loss of information, and are a visualization method for the resulting rules.

Conceptual knowledge processing with formal concept analysis and ontologies

Among many other knowledge representations formalisms, Ontologies and Formal Concept Analysis (FCA) aim at modeling ‘concepts’. We discuss how these two formalisms may complement another from an application point of view. In particular, we will see how FCA can be used to support Ontology Engineering, and how ontologies can be exploited in FCA applications. The interplay of FCA and ontologies is studied along the life cycle of an ontology: (i) FCA can support the building of the ontology as a learning technique. (ii) The established ontology can be analyzed and navigated by using techniques of FCA. (iii) Last but not least, the ontology may be used to improve an FCA application.

On Solutions of Holonomic Divided-Difference Equations on Non-Uniform Lattices

The main aim of this paper is the development of suitable bases (replacing the power basis x^n (n\in\IN_\le 0) which enable the direct series representation of orthogonal polynomial systems on non-uniform lattices (quadratic lattices of a discrete or a q-discrete variable). We present two bases of this type, the first of which allows to write solutions of arbitrary divided-difference equations in terms of series representations extending results given in [16] for the q-case. Furthermore it enables the representation of the Stieltjes function which can be used to prove the equivalence between the Pearson equation for a given linear functional and the Riccati equation for the formal Stieltjes function. If the Askey-Wilson polynomials are written in terms of this basis, however, the coefficients turn out to be not q-hypergeometric. Therefore, we present a second basis, which shares several relevant properties with the first one. This basis enables to generate the defining representation of the Askey-Wilson polynomials directly from their divided-difference equation. For this purpose the divided-difference equation must be rewritten in terms of suitable divided-difference operators developed in [5], see also [6].

Characterization theorem for classical orthogonal polynomials on non-uniform lattices: The functional approach

Using the functional approach, we state and prove a characterization theorem for classical orthogonal polynomials on non-uniform lattices (quadratic lattices of a discrete or a q-discrete variable) including the Askey-Wilson polynomials. This theorem proves the equivalence between seven characterization properties, namely the Pearson equation for the linear functional, the second-order divided-difference equation, the orthogonality of the derivatives, the Rodrigues formula, two types of structure relations,and the Riccati equation for the formal Stieltjes function.

Learning Linear, Sparse, Factorial Codes

In previous work (Olshausen & Field 1996), an algorithm was described for learning linear sparse codes which, when trained on natural images, produces a set of basis functions that are spatially localized, oriented, and bandpass (i.e., wavelet-like). This note shows how the algorithm may be interpreted within a maximum-likelihood framework. Several useful insights emerge from this connection: it makes explicit the relation to statistical independence (i.e., factorial coding), it shows a formal relationship to the algorithm of Bell and Sejnowski (1995), and it suggests how to adapt parameters that were previously fixed.

Example Based Learning for View-Based Human Face Detection

We present an example-based learning approach for locating vertical frontal views of human faces in complex scenes. The technique models the distribution of human face patterns by means of a few view-based "face'' and "non-face'' prototype clusters. At each image location, the local pattern is matched against the distribution-based model, and a trained classifier determines, based on the local difference measurements, whether or not a human face exists at the current image location. We provide an analysis that helps identify the critical components of our system.

Modeling Stock Order Flows and Learning Market-Making from Data

Stock markets employ specialized traders, market-makers, designed to provide liquidity and volume to the market by constantly supplying both supply and demand. In this paper, we demonstrate a novel method for modeling the market as a dynamic system and a reinforcement learning algorithm that learns profitable market-making strategies when run on this model. The sequence of buys and sells for a particular stock, the order flow, we model as an Input-Output Hidden Markov Model fit to historical data. When combined with the dynamics of the order book, this creates a highly non-linear and difficult dynamic system. Our reinforcement learning algorithm, based on likelihood ratios, is run on this partially-observable environment. We demonstrate learning results for two separate real stocks.

El Aprendizaje del derecho inglés en modo cooperativo formal

En primer curso de Derecho económico de la Universidad de Vigo, se planteó la posibilidad de llevar a cabo un proyecto piloto de aprendizaje cooperativo. Nos pareció interesante la idea y propusimos que la asignatura “Introducción a los Sistemas Jurídicos” se impartiese en aprendizaje cooperativo formal, como requisito previo a la realización de un examen final. Nuestro objetivo era conseguir una mayor implicación del discente en su propio proceso de aprendizaje, al mismo tiempo que la adquisición de determinadas destrezas necesarias en el ámbito jurídico, como la interacción cara a cara, la interdependencia positiva, la responsabilidad personal, el saber desenvolverse en público y la capacidad de autoanálisis o evaluación de los resultados del grupo. En este caso concreto, era necesario dotar de las destrezas necesarias a los discentes para que el aprendizaje del Derecho Inglés, como sistema jurídico diferente al nuestro, resultase atractivo y suscitase el interés de los estudiantes a la hora de abordar el conocimiento del Common Law. La diferencia fundamental, reflejada en "Judge made Law", en referencia a la labor creadora del derecho que realizan los jueces en el mundo jurídico anglosajón, puede ser explicada mucho mejor en un contexto de creatividad como el que ofrece una metodología docente activa como es el Aprendizaje Cooperativo, y por ello resultó elegida. Elegimos el Aprendizaje Cooperativo Formal porque nos pareció adecuada su vocación de continuidad, en el sentido de formar grupos para una determinada tarea que puede durar desde una clase a varias semanas. En un grupo formal los estudiantes trabajan juntos para conseguir objetivos compartidos, intentando maximizar su aprendizaje y el de sus propios compañeros. El número de miembros que conforman un grupo formal es pequeño, 2 o 4 estudiantes, organizado por el profesor, a menudo al azar, y en ellos se espera que el estudiante interaccione con sus compañeros, compartiendo los conceptos y estrategias que aprendan, y que se consideren mutuamente responsables de la tarea asignada, acudiendo sólo en último término al profesor en caso de dudas. Pero teníamos dudas con respecto a la realidad del proyecto, por el elevado número de estudiantes en el grupo de “Introducción a los Sistemas Jurídicos”. Con todo, la ilusión y un gran esfuerzo hicieron posible llevar a cabo el proyecto previsto, y los resultados fueron totalmente positivos

Hipertexto y Nuevas Tecnologías : su aporte al E-learning.

Resumen tomado de la publicación

INFO6003 (2013) Towards a formal framework for computation trust -- paper

the introduction of this research paper (especially pg 2-4) and its list of references may be useful to clarify the notions of Bayesian learning applied to trust as explained in the lectures. This is optional reading