Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Managing Profound Suffering at the End-of-Life: Should expanding access to continuous deep sedation be the priority?

Commentaire / Commentary

Representations of curanderismo in Chicana/o texts

Ma thèse porte sur les représentations de curanderismo dans Chicana/o textes. Une tradition de guérison, une vision du monde, un système de croyances et de pratiques d'origines diverses, curanderismo répond aux besoins médicaux, religieux, culturels, sociaux et politiques des Chicanas/os à la fois sur le plan individuel et communautaire. Dans mon analyse de textes littéraires (Bless Me, Ultima de Rudolfo Anaya, les poèmes sélectionnés de Pat Mora, The Hungry Woman: A Mexican Medea de Cherríe Moraga) et du cours académique sur curanderismo enseigné à l'Université du Nouveau-Mexique à Albuquerque, que j’approche comme un texte culturel, curanderismo reflète les façons complexes et souvent ambiguës de représenter Chicana/o recherche d'identité, d’affirmation de soi et d’émancipation, résultat d'une longue histoire de domination et de discrimination de Chicana/o aux Etats-Unis. Dans les textes que j’aborde dans ma thèse curanderismo assume le rôle d'une puissante métaphore qui réunit une variété de valeurs, attitudes, concepts et notions dans le but ultimede célébrer le potentiel de soi-même.

Some Efficient Representations of 3D Information based on Octress

The thesis introduced the octree and addressed the complete nature of problems encountered, while building and imaging system based on octrees. An efficient Bottom-up recursive algorithm and its iterative counterpart for the raster to octree conversion of CAT scan slices, to improve the speed of generating the octree from the slices, the possibility of utilizing the inherent parallesism in the conversion programme is explored in this thesis. The octree node, which stores the volume information in cube often stores the average density information could lead to “patchy”distribution of density during the image reconstruction. In an attempt to alleviate this problem and explored the possibility of using VQ to represent the imformation contained within a cube. Considering the ease of accommodating the process of compressing the information during the generation of octrees from CAT scan slices, proposed use of wavelet transforms to generate the compressed information in a cube. The modified algorithm for generating octrees from the slices is shown to accommodate the eavelet compression easily. Rendering the stored information in the form of octree is a complex task, necessarily because of the requirement to display the volumetric information. The reys traced from each cube in the octree, sum up the density en-route, accounting for the opacities and transparencies produced due to variations in density.

Studies on some nonlinear optical phenomena-optical phase conjugation and continuous wave second harmonic generation

Nonlinear optics has emerged as a new area of physics , following the development of various types of lasers. A number of advancements , both theoretical and experimental . have been made in the past two decades . by scientists al1 over the world. However , onl y few scientists have attempted to study the experimental aspects of nonlinear optical phenomena i n I ndian laboratories. This thesis is the report of an attempt made in this direction. The thesis contains the details of the several investigations which the author has carried out in the past few years, on optical phase conjugation (OPC) and continuous wave CCVD second harmonic generation CSHG). OPC is a new branch of nonlinear optics, developed only in the past decade. The author has done a few experiments on low power OPC in dye molecules held in solid matrices, by making use of a degenerate four wave mixing CDFWND scheme. These samples have been characterised by studies on their absorption-spectra. fluorescence spectra. triplet lifetimes and saturation intensities. Phase conjugation efficiencies with r espect to the various parameters have been i nvesti gated . DFWM scheme was also employed i n achievi ng phase conjugation of a br oadband laser C Nd: G1ass 3 using a dye solution as the nonlinear medium.

Development & evaluation of different acoustic models for Malayalam continuous speech recognition

Performance of any continuous speech recognition system is dependent on the accuracy of its acoustic model. Hence, preparation of a robust and accurate acoustic model lead to satisfactory recognition performance for a speech recognizer. In acoustic modeling of phonetic unit, context information is of prime importance as the phonemes are found to vary according to the place of occurrence in a word. In this paper we compare and evaluate the effect of context dependent tied (CD tied) models, context dependent (CD) and context independent (CI) models in the perspective of continuous speech recognition of Malayalam language. The database for the speech recognition system has utterance from 21 speakers including 11 female and 10 males. Our evaluation results show that CD tied models outperforms CI models over 21%.

Continuous production of L-glutaminase by an immobilized marine Pseudomonas sp BTMS-51 in a packed bed reactor

A marine Pseudomonas sp BTMS-51, immobilized by Ca-alginate gel entrapment was used for the production of extracellular Lglutaminase under repeated batch process and continuous process employing a packed bed reactor (PBR). Immobilized cells could produce an average of 25 U/ml of enzyme over 20 cycles of repeated batch operation and did not show any decline in production upon reuse. The enzyme yield correlated well with the biomass content in the beads. Continuous production of the enzyme in PBR was studied at different substrate concentrations and dilution rates. In general, the volumetric productivity increased with increased dilution rate and substrate concentrations and the substrate conversion efficiency declined. The PBR operated under conditions giving maximal substrate conversion efficiency gave an average yield of 21.07 U/ml and an average productivity of 13.49 U/ml/h. The system could be operated for 120 h without any decline in productivity

Continuous Production of Extracellular L-Glutaminase by Ca-Alginate-Immobilized Marine Beauveria bassiana BTMF S-10 in Packed-Bed Reactor

L-Glutamine amidohydrolase (L-glutaminase, EC 3.5.1.2) is a therapeutically and industrially important enzyme. Because it is a potent antileukemic agent and a flavor-enhancing agent used in the food industry, many researchers have focused their attention on L-glutaminase. In this article, we report the continuous production of extracellular L-glutaminase by the marine fungus Beauveria bassiana BTMF S-10 in a packed-bed reactor. Parameters influencing bead production and performance under batch mode were optimized in the order-support (Na-alginate) concentration, concentration of CaCl2 for bead preparation, curing time of beads, spore inoculum concentration, activation time, initial pH of enzyme production medium, temperature of incubation, and retention time. Parameters optimized under batch mode for L-glutaminase production were incorporated into the continuous production studies. Beads with 12 × 108 spores/g of beads were activated in a solution of 1% glutamine in seawater for 15 h, and the activated beads were packed into a packed-bed reactor. Enzyme production medium (pH 9.0) was pumped through the bed, and the effluent was collected from the top of the column. The effect of flow rate of the medium, substrate concentration, aeration, and bed height on continuous production of L-glutaminase was studied. Production was monitored for 5 h in each case, and the volumetric productivity was calculated. Under the optimized conditions for continuous production, the reactor gave a volumetric productivity of 4.048 U/(mL·h), which indicates that continuous production of the enzyme by Ca-alginate-immobilizedspores is well suited for B. bassiana and results in a higher yield of enzyme within a shorter time. The results indicate the scope of utilizing immobilized B. bassiana for continuous commercial production of L-glutaminase

Characterizations of some continuous distributions using partial moments

Inthis paper,we define partial moments for a univariate continuous random variable. A recurrence relationship for the Pearson curve using the partial moments is established. The interrelationship between the partial moments and other reliability measures such as failure rate, mean residual life function are proved. We also prove some characterization theorems using the partial moments in the context of length biased models and equilibrium distributions

Micro-electromechanical structural design and optimization of vertical cavity photonic devices with wide continuous tuning

Diese Arbeit umfaßt das elektromechanische Design und die Designoptimierung von weit durchstimmbaren optischen multimembranbasierten Bauelementen, mit vertikal orientierten Kavitäten, basierend auf der Finiten Element Methode (FEM). Ein multimembran InP/Luft Fabry-Pérot optischer Filter wird dargestellt und umfassend analysiert. In dieser Arbeit wird ein systematisches strukturelles Designverfahren dargestellt. Genaue analytische elektromechanischer Modelle für die Bauelemente sind abgeleitet worden. Diese können unschätzbare Werkzeuge sein, um am Anfang der Designphase schnell einen klaren Einblick zur Verfügung zu stellen. Mittels des FEM Programms ist der durch die nicht-lineare Verspannung hervorgerufene versteifende Effekt nachgeforscht und sein Effekt auf die Verlängerung der mechanischen Durchstimmungsstrecke der Bauelemente demonstriert worden. Interessant war auch die Beobachtung, dass die normierte Relation zwischen Ablenkung und Spannung ein unveränderliches Profil hat. Die Deformation der Membranflächen der in dieser Arbeit dargestellten Bauelementformen erwies sich als ein unerwünschter, jedoch manchmal unvermeidbarer Effekt. Es zeigt sich aber, dass die Wahl der Größe der strukturellen Dimensionen den Grad der Membrandeformation im Falle der Aktuation beeinflusst. Diese Arbeit stellt ein elektromechanisches in FEMLAB implementierte quasi-3D Modell, das allgemein für die Modellierung dünner Strukturen angewendet werden kann, dar; und zwar indem man diese als 2D-Objekte betrachtet und die dritte Dimension als eine konstante Größe (z.B. die Schichtdicke) oder eine Größe, welche eine mathematische Funktion ist, annimmt. Diese Annahme verringert drastisch die Berechnungszeit sowie den erforderlichen Arbeitsspeicherbedarf. Weiter ist es für die Nachforschung des Effekts der Skalierung der durchstimmbaren Bauelemente verwendet worden. Eine neuartige Skalierungstechnik wurde abgeleitet und verwendet. Die Ergebnisse belegen, dass das daraus resultierende, skalierte Bauelement fast genau die gleiche mechanische Durchstimmung wie das unskalierte zeigt. Die Einbeziehung des Einflusses von axialen Verspannungen und Gradientenverspannungen in die Berechnungen erforderte die Änderung der Standardimplementierung des 3D Mechanikberechnungsmodus, der mit der benutzten FEM Software geliefert wurde. Die Ergebnisse dieser Studie zeigen einen großen Einfluss der Verspannung auf die Durchstimmungseigenschaften der untersuchten Bauelemente. Ferner stimmten die Ergebnisse der theoretischen Modellrechnung mit den experimentellen Resultaten sehr gut überein.

Compact Representations for Fast Nonrigid Registration of Medical Images

We develop efficient techniques for the non-rigid registration of medical images by using representations that adapt to the anatomy found in such images. Images of anatomical structures typically have uniform intensity interiors and smooth boundaries. We create methods to represent such regions compactly using tetrahedra. Unlike voxel-based representations, tetrahedra can accurately describe the expected smooth surfaces of medical objects. Furthermore, the interior of such objects can be represented using a small number of tetrahedra. Rather than describing a medical object using tens of thousands of voxels, our representations generally contain only a few thousand elements. Tetrahedra facilitate the creation of efficient non-rigid registration algorithms based on finite element methods (FEM). We create a fast, FEM-based method to non-rigidly register segmented anatomical structures from two subjects. Using our compact tetrahedral representations, this method generally requires less than one minute of processing time on a desktop PC. We also create a novel method for the non-rigid registration of gray scale images. To facilitate a fast method, we create a tetrahedral representation of a displacement field that automatically adapts to both the anatomy in an image and to the displacement field. The resulting algorithm has a computational cost that is dominated by the number of nodes in the mesh (about 10,000), rather than the number of voxels in an image (nearly 10,000,000). For many non-rigid registration problems, we can find a transformation from one image to another in five minutes. This speed is important as it allows use of the algorithm during surgery. We apply our algorithms to find correlations between the shape of anatomical structures and the presence of schizophrenia. We show that a study based on our representations outperforms studies based on other representations. We also use the results of our non-rigid registration algorithm as the basis of a segmentation algorithm. That algorithm also outperforms other methods in our tests, producing smoother segmentations and more accurately reproducing manual segmentations.

Triangulation by Continuous Embedding

When triangulating a belief network we aim to obtain a junction tree of minimum state space. Searching for the optimal triangulation can be cast as a search over all the permutations of the network's vaeriables. Our approach is to embed the discrete set of permutations in a convex continuous domain D. By suitably extending the cost function over D and solving the continous nonlinear optimization task we hope to obtain a good triangulation with respect to the aformentioned cost. In this paper we introduce an upper bound to the total junction tree weight as the cost function. The appropriatedness of this choice is discussed and explored by simulations. Then we present two ways of embedding the new objective function into continuous domains and show that they perform well compared to the best known heuristic.

Fast Learning by Bounding Likelihoods in Sigmoid Type Belief Networks

Sigmoid type belief networks, a class of probabilistic neural networks, provide a natural framework for compactly representing probabilistic information in a variety of unsupervised and supervised learning problems. Often the parameters used in these networks need to be learned from examples. Unfortunately, estimating the parameters via exact probabilistic calculations (i.e, the EM-algorithm) is intractable even for networks with fairly small numbers of hidden units. We propose to avoid the infeasibility of the E step by bounding likelihoods instead of computing them exactly. We introduce extended and complementary representations for these networks and show that the estimation of the network parameters can be made fast (reduced to quadratic optimization) by performing the estimation in either of the alternative domains. The complementary networks can be used for continuous density estimation as well.

The Unsupervised Acquisition of a Lexicon from Continuous Speech

We present an unsupervised learning algorithm that acquires a natural-language lexicon from raw speech. The algorithm is based on the optimal encoding of symbol sequences in an MDL framework, and uses a hierarchical representation of language that overcomes many of the problems that have stymied previous grammar-induction procedures. The forward mapping from symbol sequences to the speech stream is modeled using features based on articulatory gestures. We present results on the acquisition of lexicons and language models from raw speech, text, and phonetic transcripts, and demonstrate that our algorithm compares very favorably to other reported results with respect to segmentation performance and statistical efficiency.