Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Structures algébriques, systèmes superintégrables et polynômes orthogonaux

Cette thèse est divisée en cinq parties portant sur les thèmes suivants: l’interprétation physique et algébrique de familles de fonctions orthogonales multivariées et leurs applications, les systèmes quantiques superintégrables en deux et trois dimensions faisant intervenir des opérateurs de réflexion, la caractérisation de familles de polynômes orthogonaux appartenant au tableau de Bannai-Ito et l’examen des structures algébriques qui leurs sont associées, l’étude de la relation entre le recouplage de représentations irréductibles d’algèbres et de superalgèbres et les systèmes superintégrables, ainsi que l’interprétation algébrique de familles de polynômes multi-orthogonaux matriciels. Dans la première partie, on développe l’interprétation physico-algébrique des familles de polynômes orthogonaux multivariés de Krawtchouk, de Meixner et de Charlier en tant qu’éléments de matrice des représentations unitaires des groupes SO(d+1), SO(d,1) et E(d) sur les états d’oscillateurs. On détermine les amplitudes de transition entre les états de l’oscillateur singulier associés aux bases cartésienne et polysphérique en termes des polynômes multivariés de Hahn. On examine les coefficients 9j de su(1,1) par le biais du système superintégrable générique sur la 3-sphère. On caractérise les polynômes de q-Krawtchouk comme éléments de matrices des «q-rotations» de U_q(sl_2). On conçoit un réseau de spin bidimensionnel qui permet le transfert parfait d’états quantiques à l’aide des polynômes de Krawtchouk à deux variables et on construit un modèle discret de l’oscillateur quantique dans le plan à l’aide des polynômes de Meixner bivariés. Dans la seconde partie, on étudie les systèmes superintégrables de type Dunkl, qui font intervenir des opérateurs de réflexion. On examine l’oscillateur de Dunkl en deux et trois dimensions, l’oscillateur singulier de Dunkl dans le plan et le système générique sur la 2-sphère avec réflexions. On démontre la superintégrabilité de chacun de ces systèmes. On obtient leurs constantes du mouvement, on détermine leurs algèbres de symétrie et leurs représentations, on donne leurs solutions exactes et on détaille leurs liens avec les polynômes orthogonaux du tableau de Bannai-Ito. Dans la troisième partie, on caractérise deux familles de polynômes du tableau de Bannai-Ito: les polynômes de Bannai-Ito complémentaires et les polynômes de Chihara. On montre également que les polynômes de Bannai-Ito sont les coefficients de Racah de la superalgèbre osp(1,2). On détermine l’algèbre de symétrie des polynômes duaux -1 de Hahn dans le cadre du problème de Clebsch-Gordan de osp(1,2). On propose une q - généralisation des polynômes de Bannai-Ito en examinant le problème de Racah pour la superalgèbre quantique osp_q(1,2). Finalement, on montre que la q -algèbre de Bannai-Ito sert d’algèbre de covariance à osp_q(1,2). Dans la quatrième partie, on détermine le lien entre le recouplage de représentations des algèbres su(1,1) et osp(1,2) et les systèmes superintégrables du deuxième ordre avec ou sans réflexions. On étudie également les représentations des algèbres de Racah-Wilson et de Bannai-Ito. On montre aussi que l’algèbre de Racah-Wilson sert d’algèbre de covariance quadratique à l’algèbre de Lie sl(2). Dans la cinquième partie, on construit deux familles explicites de polynômes d-orthogonaux basées sur su(2). On étudie les états cohérents et comprimés de l’oscillateur fini et on caractérise une famille de polynômes multi-orthogonaux matriciels.

Coefficients de Clebsch-Gordan de la super-algèbre osp(1|2)

Les fonctions génératrices des coefficients de Clebsch Gordan pour la superalgèbre de Lie osp(1|2) sont dérivées en utilisant deux approches. Une première approche généralise une méthode proposée par Granovskii et Zhedanov pour l'appliquer dans le cas de osp(1|2), une algèbre dont le coproduit est torsadé. Une seconde approche repose sur la réalisation de osp(1|2) en tant qu'algèbre dynamique d'un oscillateur parabosonique et utilise une équivalence dans cette réalisation entre le changements de coordonnées polaires à cartésiennes et le problème de Clebsch-Gordan. Un chapitre moins formel précède ces dérivations et présente comment le problème de Clebsch-Gordan s'interprète en tant que réalisation d'une algèbre de fusion. La notion abstraite de fusion est introduite, soulignant son importance en physique, pour en venir au cas particulier du problème de Clebsch-Gordan. Un survol du cas de l'algèbre osp(1|2) et de ses utilisations en physique mathématique conclut ce chapitre.

Ernst Schroeder and Zermelo’s Anticipation of Russell’s Paradox

Ernst Zermelo presented an argument showing that there is no set of all sets that are members of themselves in a letter to Edmund Husserl on April 16th of 1902, and so just barely anticipated the same contradiction in Betrand Russell’s letter to Frege from June 16th of that year. This paper traces the origins of Zermelo’s paradox in Husserl’s criticisms of a peculiar argument in Ernst Schroeder’s 1890 Algebra der Logik. Frege had also criticized that argument in his 1985 “A Critical Elucidation of Some Points in E. Schroeder Vorlesungen über die Algebra der Logik”, but did not see the paradox that Zermelo found. Alonzo Church, in “Schroeder’s Anticipation of the Simple Theory of Types” from 1939, cricized Frege’s treatment of Schroeder’s views, but did not identify the connection with Russell’s paradox.

Efficient Transmitter/Receiver Architectures for High Performance Wireless Applications

The thesis focuses on efficient design methods and reconfiguration architectures suitable for higher performance wireless communication .The work presented in this thesis describes the development of compact,inexpensive and low power communication devices that are robust,testable and capable of handling multiple communication standards.A new multistandard Decimation Filter Design Toolbox is developed in MATLAB GUIDE environment.RNS based dual-mode decimation filters reconfigurable for WCDMA/WiMAX and WCDMA/WLANa standards are designed and implemented.It offers high speed operation with lesser area requirement and lower dynamic power dissipation.A novel sigma-delta based direct analog-to-residue converter that reduces the complexity of RNS conversion circuitry is presented.The performance of an OFDM communication system with a new RRNS-convolutional concatenated coding is analysed and improved BER performance is obtained under different channel conditions. Easily testable MAC units for filters are presented using Reed-Muller logic for realization.

Spectral Analysis of Bounded Self-adjoint operators - A Linear Algebraic Approach

This thesis Entitled Spectral theory of bounded self-adjoint operators -A linear algebraic approach.The main results of the thesis can be classified as three different approaches to the spectral approximation problems. The truncation method and its perturbed versions are part of the classical linear algebraic approach to the subject. The usage of block Toeplitz-Laurent operators and the matrix valued symbols is considered as a particular example where the linear algebraic techniques are effective in simplifying problems in inverse spectral theory. The abstract approach to the spectral approximation problems via pre-conditioners and Korovkin-type theorems is an attempt to make the computations involved, well conditioned. However, in all these approaches, linear algebra comes as the central object. The objective of this study is to discuss the linear algebraic techniques in the spectral theory of bounded self-adjoint operators on a separable Hilbert space. The usage of truncation method in approximating the bounds of essential spectrum and the discrete spectral values outside these bounds is well known. The spectral gap prediction and related results was proved in the second chapter. The discrete versions of Borg-type theorems, proved in the third chapter, partly overlap with some known results in operator theory. The pure linear algebraic approach is the main novelty of the results proved here.

A study on fuzzy semi inner product spaces

Mathematical models are often used to describe physical realities. However, the physical realities are imprecise while the mathematical concepts are required to be precise and perfect. Even mathematicians like H. Poincare worried about this. He observed that mathematical models are over idealizations, for instance, he said that only in Mathematics, equality is a transitive relation. A first attempt to save this situation was perhaps given by K. Menger in 1951 by introducing the concept of statistical metric space in which the distance between points is a probability distribution on the set of nonnegative real numbers rather than a mere nonnegative real number. Other attempts were made by M.J. Frank, U. Hbhle, B. Schweizer, A. Sklar and others. An aspect in common to all these approaches is that they model impreciseness in a probabilistic manner. They are not able to deal with situations in which impreciseness is not apparently of a probabilistic nature. This thesis is confined to introducing and developing a theory of fuzzy semi inner product spaces.

A study on fuzzy semi inner product spaces

Mathematical models are often used to describe physical realities. However, the physical realities are imprecise while the mathematical concepts are required to be precise and perfect. The 1st chapter give a brief summary of the arithmetic of fuzzy real numbers and the fuzzy normed algebra M(I). Also we explain a few preliminary definitions and results required in the later chapters. Fuzzy real numbers are introduced by Hutton,B [HU] and Rodabaugh, S.E[ROD]. Our definition slightly differs from this with an additional minor restriction. The definition of Clementina Felbin [CL1] is entirely different. The notations of [HU]and [M;Y] are retained inspite of the slight difference in the concept.the 3rd chapter In this chapter using the completion M'(I) of M(I) we give a fuzzy extension of real Hahn-Banch theorem. Some consequences of this extension are obtained. The idea of real fuzzy linear functional on fuzzy normed linear space is introduced. Some of its properties are studied. In the complex case we get only a slightly weaker analogue for the Hahn-Banch theorem, than the one [B;N] in the crisp case

Bieberbach's Conjecture, the de Branges and Weinstein Functions and the Askey-Gasper Inequality

The Bieberbach conjecture about the coefficients of univalent functions of the unit disk was formulated by Ludwig Bieberbach in 1916 [Bieberbach1916]. The conjecture states that the coefficients of univalent functions are majorized by those of the Koebe function which maps the unit disk onto a radially slit plane. The Bieberbach conjecture was quite a difficult problem, and it was surprisingly proved by Louis de Branges in 1984 [deBranges1985] when some experts were rather trying to disprove it. It turned out that an inequality of Askey and Gasper [AskeyGasper1976] about certain hypergeometric functions played a crucial role in de Branges' proof. In this article I describe the historical development of the conjecture and the main ideas that led to the proof. The proof of Lenard Weinstein (1991) [Weinstein1991] follows, and it is shown how the two proofs are interrelated. Both proofs depend on polynomial systems that are directly related with the Koebe function. At this point algorithms of computer algebra come into the play, and computer demonstrations are given that show how important parts of the proofs can be automated.

Orthogonal polynomials and recurrence equations, operator equations and factorization

This article surveys the classical orthogonal polynomial systems of the Hahn class, which are solutions of second-order differential, difference or q-difference equations. Orthogonal families satisfy three-term recurrence equations. Example applications of an algorithm to determine whether a three-term recurrence equation has solutions in the Hahn class - implemented in the computer algebra system Maple - are given. Modifications of these families, in particular associated orthogonal systems, satisfy fourth-order operator equations. A factorization of these equations leads to a solution basis.

Fourier-Matrizen und Ringe mit Basis

Bei der Bestimmung der irreduziblen Charaktere einer Gruppe vom Lie-Typ entwickelte Lusztig eine Theorie, in der eine sogenannte Fourier-Transformation auftaucht. Dies ist eine Matrix, die nur von der Weylgruppe der Gruppe vom Lie-Typ abhängt. Anhand der Eigenschaften, die eine solche Fourier- Matrix erfüllen muß, haben Geck und Malle ein Axiomensystem aufgestellt. Dieses ermöglichte es Broue, Malle und Michel füur die Spetses, über die noch vieles unbekannt ist, Fourier-Matrizen zu bestimmen. Das Ziel dieser Arbeit ist eine Untersuchung und neue Interpretation dieser Fourier-Matrizen, die hoffentlich weitere Informationen zu den Spetses liefert. Die Werkzeuge, die dabei entstehen, sind sehr vielseitig verwendbar, denn diese Matrizen entsprechen gewissen Z-Algebren, die im Wesentlichen die Eigenschaften von Tafelalgebren besitzen. Diese spielen in der Darstellungstheorie eine wichtige Rolle, weil z.B. Darstellungsringe Tafelalgebren sind. In der Theorie der Kac-Moody-Algebren gibt es die sogenannte Kac-Peterson-Matrix, die auch die Eigenschaften unserer Fourier-Matrizen besitzt. Ein wichtiges Resultat dieser Arbeit ist, daß die Fourier-Matrizen, die G. Malle zu den imprimitiven komplexen Spiegelungsgruppen definiert, die Eigenschaft besitzen, daß die Strukturkonstanten der zugehörigen Algebren ganze Zahlen sind. Dazu müssen äußere Produkte von Gruppenringen von zyklischen Gruppen untersucht werden. Außerdem gibt es einen Zusammenhang zu den Kac-Peterson-Matrizen: Wir beweisen, daß wir durch Bildung äußerer Produkte von den Matrizen vom Typ A(1)1 zu denen vom Typ C(1) l gelangen. Lusztig erkannte, daß manche seiner Fourier-Matrizen zum Darstellungsring des Quantendoppels einer endlichen Gruppe gehören. Deswegen ist es naheliegend zu versuchen, die noch ungeklärten Matrizen als solche zu identifizieren. Coste, Gannon und Ruelle untersuchen diesen Darstellungsring. Sie stellen eine Reihe von wichtigen Fragen. Eine dieser Fragen beantworten wir, nämlich inwieweit rekonstruiert werden kann, zu welcher endlichen Gruppe gegebene Matrizen gehören. Den Darstellungsring des getwisteten Quantendoppels berechnen wir für viele Beispiele am Computer. Dazu müssen unter anderem Elemente aus der dritten Kohomologie-Gruppe H3(G,C×) explizit berechnet werden, was bisher anscheinend in noch keinem Computeralgebra-System implementiert wurde. Leider ergibt sich hierbei kein Zusammenhang zu den von Spetses herrührenden Matrizen. Die Werkzeuge, die in der Arbeit entwickelt werden, ermöglichen eine strukturelle Zerlegung der Z-Ringe mit Basis in bekannte Anteile. So können wir für die meisten Matrizen der Spetses Konstruktionen angeben: Die zugehörigen Z-Algebren sind Faktorringe von Tensorprodukten von affinen Ringe Charakterringen und von Darstellungsringen von Quantendoppeln.

Gröbnerbasen in Ore-Algebren

In dieser Arbeit werden grundlegende Algorithmen für Ore-Algebren in Mathematica realisiert. Dabei entsteht eine Plattform um die speziellen Beschränkungen und Möglichkeiten dieser Algebren insbesondere im Zusammenhang mit Gröbnerbasen an praktischen Beispielen auszuloten. Im Gegensatz zu den existierenden Paketen wird dabei explizit die Struktur der Ore-Algebra benutzt. Kandri-Rody und Weispfenning untersuchten 1990 Verallgemeinerungen von Gröbnerbasen auf Algebren ordnungserhaltender Art (``algebras of solvable type''). Diese verhalten sich so, dass Buchbergers Algorithmus stets eine Gröbnerbasis findet. Es wird ein Beispiel gezeigt, an dem klar wird, dass es mehr Ore-Algebren ordnungserhaltender Art gibt als die in der Literatur stets betrachteten Operator-Algebren. Für Ore-Algebren ordnungserhaltender Art werden Algorithmen zu Gröbnerbasen implementiert. Anschließend wird der Gröbner-Walk für Ore-Algebren untersucht. Der Gröbner-Walk im kommutativen Fall wird mit einem instruktiven Beispiel vorgestellt. Dann wird zum nichtkommutativen Fall übergegangen. Es wird gezeigt, dass die Eigenschaft ordnungserhaltender Art zu sein, auf der Strecke zwischen zwei Ordnungen erhalten bleibt. Eine leichte Modifikation des Walks für Ore-Algebren wird implementiert, die im Erfolgsfall die Basis konvertiert und ansonsten abbricht. Es werden Beispiele angegeben, in denen der modifizierte Walk funktioniert sowie ein Beispiel analysiert, in dem er versagt.

A computer-algebraic approach to the study of the symmetry properties of molecules and clusters

This thesis work is dedicated to use the computer-algebraic approach for dealing with the group symmetries and studying the symmetry properties of molecules and clusters. The Maple package Bethe, created to extract and manipulate the group-theoretical data and to simplify some of the symmetry applications, is introduced. First of all the advantages of using Bethe to generate the group theoretical data are demonstrated. In the current version, the data of 72 frequently applied point groups can be used, together with the data for all of the corresponding double groups. The emphasize of this work is placed to the applications of this package in physics of molecules and clusters. Apart from the analysis of the spectral activity of molecules with point-group symmetry, it is demonstrated how Bethe can be used to understand the field splitting in crystals or to construct the corresponding wave functions. Several examples are worked out to display (some of) the present features of the Bethe program. While we cannot show all the details explicitly, these examples certainly demonstrate the great potential in applying computer algebraic techniques to study the symmetry properties of molecules and clusters. A special attention is placed in this thesis work on the flexibility of the Bethe package, which makes it possible to implement another applications of symmetry. This implementation is very reasonable, because some of the most complicated steps of the possible future applications are already realized within the Bethe. For instance, the vibrational coordinates in terms of the internal displacement vectors for the Wilson's method and the same coordinates in terms of cartesian displacement vectors as well as the Clebsch-Gordan coefficients for the Jahn-Teller problem are generated in the present version of the program. For the Jahn-Teller problem, moreover, use of the computer-algebraic tool seems to be even inevitable, because this problem demands an analytical access to the adiabatic potential and, therefore, can not be realized by the numerical algorithm. However, the ability of the Bethe package is not exhausted by applications, mentioned in this thesis work. There are various directions in which the Bethe program could be developed in the future. Apart from (i) studying of the magnetic properties of materials and (ii) optical transitions, interest can be pointed out for (iii) the vibronic spectroscopy, and many others. Implementation of these applications into the package can make Bethe a much more powerful tool.

Computation of locally free class groups

We show that the locally free class group of an order in a semisimple algebra over a number field is isomorphic to a certain ray class group. This description is then used to present an algorithm that computes the locally free class group. The algorithm is implemented in MAGMA for the case where the algebra is a group ring over the rational numbers.

Functions satisfying holonomic q-differential equations

In a similar manner as in some previous papers, where explicit algorithms for finding the differential equations satisfied by holonomic functions were given, in this paper we deal with the space of the q-holonomic functions which are the solutions of linear q-differential equations with polynomial coefficients. The sum, product and the composition with power functions of q-holonomic functions are also q-holonomic and the resulting q-differential equations can be computed algorithmically.