Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Code-Switching Between Cultures And Languages : Creative connectivity

Problème: Ma thèse porte sur l’identité individuelle comme interrogation sur les enjeux personnels et sur ce qui constitue l’identification hybride à l’intérieur des notions concurrentielles en ce qui a trait à l’authenticité. Plus précisément, j’aborde le concept des identifications hybrides en tant que zones intermédiaires pour ce qui est de l’alternance de codes linguistiques et comme négociation des espaces continuels dans leur mouvement entre les cultures et les langues. Une telle négociation engendre des tensions et/ou apporte le lien créatif. Les tensions sont inhérentes à n’importe quelle construction d’identité où les lignes qui définissent des personnes ne sont pas spécifiques à une culture ou à une langue, où des notions de l’identité pure sont contestées et des codes communs de l’appartenance sont compromis. Le lien créatif se produit dans les exemples où l’alternance de code linguistique ou la négociation des espaces produit le mouvement ouvert et fluide entre les codes de concurrence des références et les différences à travers les discriminations raciales, la sexualité, la culture et la langue. Les travaux que j’ai sélectionnés représentent une section transversale de quelques auteurs migrants provenant de la minorité en Amérique du Nord qui alternent les codes linguistiques de cette manière. Les travaux détaillent le temps et l’espace dans leur traitement de l’identité et dans la façon dont ils cernent l’hybridité dans les textes suivants : The Woman Warrior de Maxine Hong Kingston (1975-76), Hunger of Memory de Richard Rodriguez (1982), Comment faire l’amour avec un nègre sans se fatiguer de Dany Laferrière (1985), Borderlands/La Frontera de Gloria Anzalduá (1987), Lost in Translation de Eva Hoffman (1989), Avril ou l’anti-passion de Antonio D’Alfonso (1990) et Chorus of Mushrooms de Hiromi Goto (1994). Enjeux/Questions La notion de l’identification hybride est provocante comme sujet. Elle met en question l’identité pure. C’est un sujet qui a suscité beaucoup de discussions tant en ce qui a trait à la littérature, à la politique, à la société, à la linguistique, aux communications, qu’au sein même des cercles philosophiques. Ce sujet est compliqué parce qu’il secoue la base des espaces fixes et structurés de l’identité dans sa signification culturelle et linguistique. Par exemple, la notion de patrie n’a pas les représentations exclusives du pays d’origine ou du pays d’accueil. De même, les notions de race, d’appartenance ethnique, et d’espaces sexuels sont parfois négativement acceptées si elles proviennent des codes socialement admis et normalisés de l’extérieur. De tels codes de la signification sont souvent définis par l’étiquette d’identification hétérosexuelle et blanche. Dans l’environnement généralisé d’aujourd’hui, plus que jamais, une personne doit négocier qui elle est, au sens de son appartenance à soi, en tant qu’individu et ce, face aux modèles locaux, régionaux, nationaux, voire même globaux de la subjectivité. Nous pouvons interpréter ce mouvement comme une série de couches superposées de la signification. Quand nous rencontrons une personne pour la première fois, nous ne voyons que la couche supérieure. D’ailleurs, son soi intérieur est caché par de nombreuses couches superposées (voir Joseph D. Straubhaar). Toutefois, sous cette couche supérieure, on retrouve beaucoup d’autres couches et tout comme pour un oignon, on doit les enlever une par une pour que l’individualité complète d’une personne soit révélée et comprise. Le noyau d’une personne représente un point de départ crucial pour opposer qui elle était à la façon dont elle se transforme sans cesse. Sa base, ou son noyau, dépend du moment, et comprend, mais ne s’y limite pas, ses origines, son environnement et ses expériences d’enfance, son éducation, sa notion de famille, et ses amitiés. De plus, les notions d’amour-propre et d’amour pour les autres, d’altruisme, sont aussi des points importants. Il y a une relation réciproque entre le soi et l’autre qui établit notre degré d’estime de soi. En raison de la mondialisation, notre façon de comprendre la culture, en fait, comment on consomme et définit la culture, devient rapidement un phénomène de déplacement. À l’intérieur de cette arène de culture généralisée, la façon dont les personnes sont à l’origine chinoises, mexicaines, italiennes, ou autres, et poursuivent leur évolution culturelle, se définit plus aussi facilement qu’avant. Approche Ainsi, ma thèse explore la subjectivité hybride comme position des tensions et/ou des relations créatrices entre les cultures et les langues. Quoique je ne souhaite aucunement simplifier ni le processus, ni les questions de l’auto-identification, il m’apparaît que la subjectivité hybride est aujourd’hui une réalité croissante dans l’arène généralisée de la culture. Ce processus d’échange est particulièrement complexe chez les populations migrantes en conflit avec leur désir de s’intégrer dans les nouveaux espaces adoptés, c’est-à-dire leur pays d’accueil. Ce réel désir d’appartenance peut entrer en conflit avec celui de garder les espaces originels de la culture définie par son pays d’origine. Ainsi, les références antérieures de l’identification d’une personne, les fondements de son individualité, son noyau, peuvent toujours ne pas correspondre à, ou bien fonctionner harmonieusement avec, les références extérieures et les couches d’identification changeantes, celles qu’elle s’approprie du pays d’accueil. Puisque nos politiques, nos religions et nos établissements d’enseignement proviennent des représentations nationales de la culture et de la communauté, le processus d’identification et la création de son individualité extérieure sont formées par le contact avec ces établissements. La façon dont une personne va chercher l’identification entre les espaces personnels et les espaces publics détermine ainsi le degré de conflit et/ou de lien créatif éprouvé entre les modes et les codes des espaces culturels et linguistiques. Par conséquent, l’identification des populations migrantes suggère que la « community and culture will represent both a hybridization of home and host cultures » (Straubhaar 27). Il y a beaucoup d’écrits au sujet de l’hybridité et des questions de l’identité et de la patrie, toutefois cette thèse aborde la valeur créative de l’alternance de codes culturels et linguistiques. Ce que la littérature indiquera Par conséquent, la plate-forme à partir de laquelle j’explore mon sujet de l’hybridité flotte entre l’interprétation postcoloniale de Homi Bhabha concernant le troisième espace hybride; le modèle d’hétéroglossie de Mikhail Bakhtine qui englobent plusieurs de mes exemples; la représentation de Roland Barthes sur l’identité comme espace transgressif qui est un modèle de référence et la contribution de Chantal Zabus sur le palimpseste et l’alternance de codes africains. J’utilise aussi le modèle de Sherry Simon portant sur l’espace urbain hybride de Montréal qui établit un lien important avec la valeur des échanges culturels et linguistiques, et les analyses de Janet Paterson. En effet, la façon dont elle traite la figure de l’Autre dans les modèles littéraires au Québec fournisse un aperçu régional et national de l’identification hybride. Enfin, l’exploration du bilinguisme de Doris Sommer comme espace esthétique et même humoristique d’identification situe l’hybridité dans une espace de rencontre créative. Conséquence Mon approche dans cette thèse ne prétend pas résoudre les problèmes qui peuvent résulter des plates-formes de la subjectivité hybride. Pour cette raison, j’évite d’aborder toute approche politique ou nationaliste de l’identité qui réfute l’identification hybride. De la même façon, je n’amène pas de discussion approfondie sur les questions postcoloniales. Le but de cette thèse est de démontrer à quel point la subjectivité hybride peut être une zone de relation créatrice lorsque l’alternance de codes permet des échanges de communication plus intimes entre les cultures et les langues. C’est un espace qui devient créateur parce qu’il favorise une attitude plus ouverte vis-à-vis les différents champs qui passent par la culture, aussi bien la langue, que la sexualité, la politique ou la religion. Les zones hybrides de l’identification nous permettent de contester les traditions dépassées, les coutumes, les modes de communication et la non-acceptation, toutes choses dépassées qui emprisonnent le désir et empêchent d’explorer et d’adopter des codes en dehors des normes et des modèles de la culture contenus dans le discours blanc, dominant, de l’appartenance culturelle et linguistique mondialisée. Ainsi, il appert que ces zones des relations multi-ethniques exigent plus d’attention des cercles scolaires puisque la population des centres urbains à travers l’Amérique du Nord devient de plus en plus nourrie par d’autres types de populations. Donc, il existe un besoin réel d’établir une communication sincère qui permettrait à la population de bien comprendre les populations adoptées. C’est une invitation à stimuler une relation plus intime de l’un avec l’autre. Toutefois, il est évident qu’une communication efficace à travers les frontières des codes linguistiques, culturels, sexuels, religieux et politiques exige une négociation continuelle. Mais une telle négociation peut stimuler la compréhension plus juste des différences (culturelle ou linguistique) si des institutions académiques offrent des programmes d’études intégrant davantage les littératures migrantes. Ma thèse vise à illustrer (par son choix littéraire) l’identification hybride comme une réalité importante dans les cultures généralisées qui croissent toujours aujourd’hui. Les espaces géographiques nous gardent éloignés les uns des autres, mais notre consommation de produits exotiques, qu’ils soient culturels ou non, et même notre consommation de l’autre, s’est rétrécie sensiblement depuis les deux dernières décennies et les indicateurs suggèrent que ce processus n’est pas une tendance, mais plutôt une nouvelle manière d’éprouver la vie et de connaître les autres. Ainsi les marqueurs qui forment nos frontières externes, aussi bien que ces marqueurs qui nous définissent de l’intérieur, exigent un examen minutieux de ces enjeux inter(trans)culturels, surtout si nous souhaitons nous en tenir avec succès à des langues et des codes culturels présents, tout en favorisant la diversité culturelle et linguistique. MOTS-CLÉS : identification hybride, mouvement ouvert, alternance de code linguistique, négociation des espaces, tensions, connectivité créative

Liquidity traps, capital flows

This paper explores the role of capital flows and exchange rate dynamics in shaping the global economy's adjustment in a liquidity trap. Using a multi-country model with nominal rigidities, we shed light on the global adjustment since the Great Recession, a period where many advanced economies were pushed to the zero bound on interest rates. We establish three main results: (i) When the North hits the zero bound, downstream capital flows alleviate the recession by reallocating demand to the South and switching expenditure toward North goods. (ii) A free capital flow regime falls short of supporting efficient demand and expenditure reallocations and induces too little downstream (upstream) flows during (after) the liquidity trap. (iii) When it comes to capital flow management, individual countries' incentives to manage their terms of trade conflict with aggregate demand stabilization and global efficiency. This underscores the importance of international policy coordination in liquidity trap episodes.

Studies on the Effect of High Energy Ball Milling On the Structural, Electrical and Magnetic Properties of Some Normal Spinets in the Ultrafine Regime

The present work is an attempt to understand the characteristics of high energy ball milling on the structural, electrical and magnetic properties of some normal spinets in the ultra fine regime, Magnetism and magnetic materials have been a fascinating subject for the mankind ever since the discovery of lodestone. Since then, man has been applying this principle of magnetism to build devices for various applications. Magnetism can be classified broadly into five categories. They are diamagnetic, paramagnetic, ferromagnetic antiferromagnetic and ferrimagnetic. Of these, ferro and ferri magnetic materials assume great commercial importance due to their unique properties like appropriate magnetic characteristics, high resistivity and low eddy current losses. The emergence of nanoscience and nanotechnology during the last decade had its impact in the field of magnetism and magnetic materials too. Now, it is common knowledge that materials synthesized in the nanoregime exhibit novel and superlative properties with respect to their coarser sized counterparts in the micron regime. These studies reveal that dielectric properties can be varied appreciably by high-energy ball milling in nanosized zinc ferrites produced by coprecipitation method. A semi conducting behaviour was observed in these materials with the Oxygen vacancies acting as the main charge carrier for conduction, which was produced at the time of coprecipitation and milling. Thus through this study, it was possible to successfully investigate the finite size effects on the structural, electrical and magnetic properties of normal spinels in the ultra fine regime

A Novel Method for Switching and Tuning of PBG Structures

Photonic band-gap (PBG) structures are utilized in microwave components as filters to suppress unwanted signals. In this work, rectangular perforations were created in the ground plane of a microstrip line to construct a PBG structure. A gold-coated alumina substrate was utilized to switch or tune the bandstop characteristics of this structure. It was demonstrated that the bandstop characteristics were switched off from - 35 to - 1 dB at 16 GHz. Tuning of the bandstop edge with a shift of 1.5 GHz was also shown

Spectral and nonlinear optical characterization of ZnO nanocomposites

The spectral and nonlinear optical characteristics of nano ZnO and its composites are investigated. The fluorescence behaviour of nano colloids of ZnO has been studied as a function of the excitation wavelength and there is a red shift in emission peak with excitation wavelength. Apart from the observation of the reported ultra violet and green emissions, our results reveal that additional blue emissions at 420 nm and 490 nm are developed with increasing particle size. Systematic studies on nano ZnO have indicated the presence of luminescence due to excitonic emissions when excited with 255 nm as well as significant contribution from surface defect states when excited with 325 nm. In the weak confinement regime, the third-order optical susceptibility χ(3) increases with increasing particle size (R) and annealing temperature (T) and a R2 and T2.5 dependence of χ(3) is obtained for nano ZnO. ZnO nanocolloids exhibit induced absorption whereas the self assembled films of ZnO exhibit saturable absorption due to saturation of linear absorption of ZnO defect states and electronic effects. ZnO nanocomposites exhibit negative nonlinear index of refraction which can be attributed to two photon absorption followed by weak free carrier absorption. The increase of the third-order nonlinearity in the composites can be attributed to the enhancement of exciton oscillator strength. The nonlinear response of ZnO nanocomposites is wavelength dependent and switching from induced absorption to saturable absorption has been observed at resonant wavelengths. Such a change-over is related to the interplay of plasmon/exciton band bleach and optical limiting mechanisms. This study is important in identifying the spectral range and the composition over which the nonlinear material acts as an optical limiter. ZnO based nanocomposites are potential materials for enhanced and tunable light emission and for the development of nonlinear optical devices with a relatively small optical limiting threshold.

Visible luminescence mechanism in nano ZnO under weak confinement regime

We describe the structure of luminescence spectrum in the visible region in nano-ZnO in colloidal and thin film forms under weak confinement regime by modeling the transition from excited state energy levels of excitons to their ground state. Measurements on nanocrystallites indicate the presence of luminescence due to excitonic emissions when excited with 255 nm. The relevant energy levels showing the transitions corresponding to the observed peaks in the emission spectrum of ZnO of particle size 18 nm are identified.

Thermal transport, photoconduction and electrical switching in selected chalcogenide glasses exhibiting carrier type reversal

Department of Instrumentation, Cochin University of Science and Technology

Stochastic Modelling Using Markov Chains

Department of Statistics, Cochin University of Science and Technology

Spectral dependence of third order nonlinear optical susceptibility of zinc phthalocyanine

Wavelength dependence of saturable absorption (SA) and reverse saturable absorption (RSA) of zinc phthalocyanine was studied using 10 Hz, 8 ns pulses from a tunable laser, in the wavelength range of 520–686 nm, which includes the rising edge of the Q band in the electronic absorption spectrum. The nonlinear response is wavelength dependent and switching from RSA to SA has been observed as the excitation wavelength changes from the low absorption window region to higher absorption regime near the Q band. The SA again changes back to RSA when we further move over to the infrared region. Values of the imaginary part of third order susceptibility are calculated for various wavelengths in this range. This study is important in identifying the spectral range over which the nonlinear material acts as RSA based optical limiter.

Laser-induced Bessel beams can realize fast all-optical switching in gold nanosol prepared by pulsed laser ablation

We demonstrate the possibility of realizing, all-optical switching in gold nanosol. Two overlapping laser beams are used for this purpose, due to which a low-power beam passing collinear to a high-power beam will undergo cross phase modulation and thereby distort the spatial profile. This is taken to advantage for performing logic operations. We have also measured the threshold pump power to obtain a NOT gate and the minimum response time of the device. Contrary to the general notion that the response time of thermal effects used in this application is of the order of milliseconds, we prove that short pump pulses can result in fast switching. Different combinations of beam splitters and combiners will lead to the formation of other logic functions too.

Enhanced luminescence and nonlinear optical properties of nanocomposites of ZnO–Cu

In this article, we present the spectral and nonlinear optical properties of ZnOCu nanocomposites prepared by colloidal chemical synthesis. The emission consisted of two peaks. The 385-nm ultraviolet (UV) peak is attributed to ZnO and the 550-nm visible peak is attributed to Cu nanocolloids. Obvious enhancement of UV and visible emission of the samples is observed and the strongest UV emission of a typical ZnOCu nanocomposite is over three times stronger than that of pure ZnO. Cu acts as a sensitizer and the enhancement of UV emission are caused by excitons formed at the interface between Cu and ZnO. As the volume fraction of Cu increases beyond a particular value, the intensity of the UV peak decreases while the intensity of the visible peak increases, and the strongest visible emission of a typical ZnOCu nanocomposite is over ten times stronger than that of pure Cu. The emission mechanism is discussed. Nonlinear optical response of these samples is studied using nanosecond laser pulses from a tunable laser in the wavelength range of 450650 nm, which includes the surface plasmon absorption (SPA) band. The nonlinear response is wavelength dependent and switching from reverse saturable absorption (RSA) to saturable absorption (SA) has been observed for Cu nanocolloids as the excitation wavelength changes from the low absorption window region to higher absorption regime near the SPA band. However, ZnO colloids and ZnOCu nanocomposites exhibit induced absorption at this wavelength. Such a changeover in the sign of the nonlinearity of ZnOCu nanocomposites, with respect to Cu nanocolloids, is related to the interplay of plasmon band bleach and optical limiting mechanisms. The SA again changes back to RSA when we move over to the infrared region. The ZnOCu nanocomposites show self-defocusing nonlinearity and good nonlinear absorption behavior. The nonlinear refractive index and the nonlinear absorption increases with increasing Cu volume fraction at 532 nm. The observed nonlinear absorption is explained through two-photon absorption followed by weak free-carrier absorption and interband absorption mechanisms. This study is important in identifying the spectral range and composition over which the nonlinear material acts as a RSA-based optical limiter. ZnOCu is a potential nanocomposite material for the light emission and for the development of nonlinear optical devices with a relatively small limiting threshold.

Spectral dependence of third order nonlinear optical susceptibility of zinc phthalocyanine

Wavelength dependence of saturable absorption (SA) and reverse saturable absorption (RSA) of zinc phthalocyanine was studied using 10 Hz, 8 ns pulses from a tunable laser, in the wavelength range of 520–686 nm, which includes the rising edge of the Q band in the electronic absorption spectrum. The nonlinear response is wavelength dependent and switching from RSA to SA has been observed as the excitation wavelength changes from the low absorption window region to higher absorption regime near the Q band. The SA again changes back to RSA when we further move over to the infrared region. Values of the imaginary part of third order susceptibility are calculated for various wavelengths in this range. This study is important in identifying the spectral range over which the nonlinear material acts as RSA based optical limiter.

Electrical switching studies on the thin films of polyfuran and polyacrylonitrile prepared by plasma polymerisation and vacuum evaporated amorphous silicon

This thesis Entitled Electrical switching studies on the thin flims of polyfuran and polyacrylonitrile prepared by plasma polymerisation and vacuum evaporated amorphous silicon.A general introduction to the switching and allied phenomena is presented. Subsequently, developments of switching in thin films are described. The Mott transition is qualitatively presented. The working of a switching transitor is outlined and compared to the switching observed in thin films. Characteristic parameters of switching such as threshold voltage, time response to a, voltage pulse, and delay time are described. The various switching configurations commonly used are discussed. The mechanisms used to explain the switching behaviour like thermal, electrothermal and purely electronic are reviewed. Finally the scope, feasibility and the importance of polymer thin films in switching are highlighted.