Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Essays in macro finance and monetary economics

Les questions abordées dans les deux premiers articles de ma thèse cherchent à comprendre les facteurs économiques qui affectent la structure à terme des taux d'intérêt et la prime de risque. Je construis des modèles non linéaires d'équilibre général en y intégrant des obligations de différentes échéances. Spécifiquement, le premier article a pour objectif de comprendre la relation entre les facteurs macroéconomiques et le niveau de prime de risque dans un cadre Néo-keynésien d'équilibre général avec incertitude. L'incertitude dans le modèle provient de trois sources : les chocs de productivité, les chocs monétaires et les chocs de préférences. Le modèle comporte deux types de rigidités réelles à savoir la formation des habitudes dans les préférences et les coûts d'ajustement du stock de capital. Le modèle est résolu par la méthode des perturbations à l'ordre deux et calibré à l'économie américaine. Puisque la prime de risque est par nature une compensation pour le risque, l'approximation d'ordre deux implique que la prime de risque est une combinaison linéaire des volatilités des trois chocs. Les résultats montrent qu'avec les paramètres calibrés, les chocs réels (productivité et préférences) jouent un rôle plus important dans la détermination du niveau de la prime de risque relativement aux chocs monétaires. Je montre que contrairement aux travaux précédents (dans lesquels le capital de production est fixe), l'effet du paramètre de la formation des habitudes sur la prime de risque dépend du degré des coûts d'ajustement du capital. Lorsque les coûts d'ajustement du capital sont élevés au point que le stock de capital est fixe à l'équilibre, une augmentation du paramètre de formation des habitudes entraine une augmentation de la prime de risque. Par contre, lorsque les agents peuvent librement ajuster le stock de capital sans coûts, l'effet du paramètre de la formation des habitudes sur la prime de risque est négligeable. Ce résultat s'explique par le fait que lorsque le stock de capital peut être ajusté sans coûts, cela ouvre un canal additionnel de lissage de consommation pour les agents. Par conséquent, l'effet de la formation des habitudes sur la prime de risque est amoindri. En outre, les résultats montrent que la façon dont la banque centrale conduit sa politique monétaire a un effet sur la prime de risque. Plus la banque centrale est agressive vis-à-vis de l'inflation, plus la prime de risque diminue et vice versa. Cela est due au fait que lorsque la banque centrale combat l'inflation cela entraine une baisse de la variance de l'inflation. Par suite, la prime de risque due au risque d'inflation diminue. Dans le deuxième article, je fais une extension du premier article en utilisant des préférences récursives de type Epstein -- Zin et en permettant aux volatilités conditionnelles des chocs de varier avec le temps. L'emploi de ce cadre est motivé par deux raisons. D'abord des études récentes (Doh, 2010, Rudebusch and Swanson, 2012) ont montré que ces préférences sont appropriées pour l'analyse du prix des actifs dans les modèles d'équilibre général. Ensuite, l'hétéroscedasticité est une caractéristique courante des données économiques et financières. Cela implique que contrairement au premier article, l'incertitude varie dans le temps. Le cadre dans cet article est donc plus général et plus réaliste que celui du premier article. L'objectif principal de cet article est d'examiner l'impact des chocs de volatilités conditionnelles sur le niveau et la dynamique des taux d'intérêt et de la prime de risque. Puisque la prime de risque est constante a l'approximation d'ordre deux, le modèle est résolu par la méthode des perturbations avec une approximation d'ordre trois. Ainsi on obtient une prime de risque qui varie dans le temps. L'avantage d'introduire des chocs de volatilités conditionnelles est que cela induit des variables d'état supplémentaires qui apportent une contribution additionnelle à la dynamique de la prime de risque. Je montre que l'approximation d'ordre trois implique que les primes de risque ont une représentation de type ARCH-M (Autoregressive Conditional Heteroscedasticty in Mean) comme celui introduit par Engle, Lilien et Robins (1987). La différence est que dans ce modèle les paramètres sont structurels et les volatilités sont des volatilités conditionnelles de chocs économiques et non celles des variables elles-mêmes. J'estime les paramètres du modèle par la méthode des moments simulés (SMM) en utilisant des données de l'économie américaine. Les résultats de l'estimation montrent qu'il y a une évidence de volatilité stochastique dans les trois chocs. De plus, la contribution des volatilités conditionnelles des chocs au niveau et à la dynamique de la prime de risque est significative. En particulier, les effets des volatilités conditionnelles des chocs de productivité et de préférences sont significatifs. La volatilité conditionnelle du choc de productivité contribue positivement aux moyennes et aux écart-types des primes de risque. Ces contributions varient avec la maturité des bonds. La volatilité conditionnelle du choc de préférences quant à elle contribue négativement aux moyennes et positivement aux variances des primes de risque. Quant au choc de volatilité de la politique monétaire, son impact sur les primes de risque est négligeable. Le troisième article (coécrit avec Eric Schaling, Alain Kabundi, révisé et resoumis au journal of Economic Modelling) traite de l'hétérogénéité dans la formation des attentes d'inflation de divers groupes économiques et de leur impact sur la politique monétaire en Afrique du sud. La question principale est d'examiner si différents groupes d'agents économiques forment leurs attentes d'inflation de la même façon et s'ils perçoivent de la même façon la politique monétaire de la banque centrale (South African Reserve Bank). Ainsi on spécifie un modèle de prédiction d'inflation qui nous permet de tester l'arrimage des attentes d'inflation à la bande d'inflation cible (3% - 6%) de la banque centrale. Les données utilisées sont des données d'enquête réalisée par la banque centrale auprès de trois groupes d'agents : les analystes financiers, les firmes et les syndicats. On exploite donc la structure de panel des données pour tester l'hétérogénéité dans les attentes d'inflation et déduire leur perception de la politique monétaire. Les résultats montrent qu'il y a évidence d'hétérogénéité dans la manière dont les différents groupes forment leurs attentes. Les attentes des analystes financiers sont arrimées à la bande d'inflation cible alors que celles des firmes et des syndicats ne sont pas arrimées. En effet, les firmes et les syndicats accordent un poids significatif à l'inflation retardée d'une période et leurs prédictions varient avec l'inflation réalisée (retardée). Ce qui dénote un manque de crédibilité parfaite de la banque centrale au vu de ces agents.

Action de groupe, formes normales et systèmes quadratiques à foyer faible d'ordre trois

Dans ce mémoire, on s'intéresse à l'action du groupe des transformations affines et des homothéties sur l'axe du temps des systèmes différentiels quadratiques à foyer faible d'ordre trois, dans le plan. Ces systèmes sont importants dans le cadre du seizième problème d'Hilbert. Le diagramme de bifurcation a été produit à l'aide de la forme normale de Li dans des travaux de Andronova [2] et Artès et Llibre [4], sans utiliser le plan projectif comme espace des paramètres ni de méthodes globales. Dans [7], Llibre et Schlomiuk ont utilisé le plan projectif comme espace des paramètres et des notions à caractère géométrique global (invariants affines et topologiques). Ce diagramme contient 18 portraits de phase et certains de ces portraits sont répétés dans des parties distinctes du diagramme. Ceci nous mène à poser la question suivante : existe-t-il des systèmes distincts, correspondant à des valeurs distinctes de paramètres, se trouvant sur la même orbite par rapport à l'action du groupe? Dans ce mémoire, on prouve un résultat original : l'action du groupe n'est pas triviale sur la forme de Li (théorème 3.1), ni sur la forme normale de Bautin (théorème 4.1). En utilisant le deuxième résultat, on construit l'espace topologique quotient des systèmes quadratiques à foyer faible d'ordre trois par rapport à l'action de ce groupe.

Spectral and nonlinear optical characterization of ZnO nanocomposites

The spectral and nonlinear optical characteristics of nano ZnO and its composites are investigated. The fluorescence behaviour of nano colloids of ZnO has been studied as a function of the excitation wavelength and there is a red shift in emission peak with excitation wavelength. Apart from the observation of the reported ultra violet and green emissions, our results reveal that additional blue emissions at 420 nm and 490 nm are developed with increasing particle size. Systematic studies on nano ZnO have indicated the presence of luminescence due to excitonic emissions when excited with 255 nm as well as significant contribution from surface defect states when excited with 325 nm. In the weak confinement regime, the third-order optical susceptibility χ(3) increases with increasing particle size (R) and annealing temperature (T) and a R2 and T2.5 dependence of χ(3) is obtained for nano ZnO. ZnO nanocolloids exhibit induced absorption whereas the self assembled films of ZnO exhibit saturable absorption due to saturation of linear absorption of ZnO defect states and electronic effects. ZnO nanocomposites exhibit negative nonlinear index of refraction which can be attributed to two photon absorption followed by weak free carrier absorption. The increase of the third-order nonlinearity in the composites can be attributed to the enhancement of exciton oscillator strength. The nonlinear response of ZnO nanocomposites is wavelength dependent and switching from induced absorption to saturable absorption has been observed at resonant wavelengths. Such a change-over is related to the interplay of plasmon/exciton band bleach and optical limiting mechanisms. This study is important in identifying the spectral range and the composition over which the nonlinear material acts as an optical limiter. ZnO based nanocomposites are potential materials for enhanced and tunable light emission and for the development of nonlinear optical devices with a relatively small optical limiting threshold.

The tautomerism, solvatochromism and non-linear optical properties of fluorescent 3-hydroxyquinoxaline-2-carboxalidine-4-aminoantipyrine

The Schiff base, 3-hydroxyquinoxaline-2-carboxalidine-4-aminoantipyrine, was synthesized by the condensation of 3-hydroxyquinoxaline-2-carboxaldehyde with 4-aminoantipyrine. HPLC, FT-IR and NMR spectral data revealed that the compound exists predominantly in the amide tautomeric form and exhibits both absorption and fluorescence solvatochromism, large stokes shift, two electron quasireversible redox behaviour and good thermal stability, with a glass transition temperature of 104oC. The third-order non-linear optical character was studied using open aperture Z-scan methodology employing 7 ns pulses at 532 nm. The third-order non-linear absorption coefficient, b, was 1.48 x 10-6 cm W-1 and the imaginary part of the third-order non-linear optical susceptibility, Im c(3), was 3.36 x10-10 esu. The optical limiting threshold for the compound was found to be 340 MW cm-2.

The tautomerism, solvatochromism and non-linear optical properties of fluorescent 3-hydroxyquinoxaline-2-carboxalidine-4-aminoantipyrine

The Schiff base, 3-hydroxyquinoxaline-2-carboxalidine-4-aminoantipyrine, was synthesized by the condensation of 3-hydroxyquinoxaline-2-carboxaldehyde with 4-aminoantipyrine. HPLC, FT-IR and NMR spectral data revealed that the compound exists predominantly in the amide tautomeric form and exhibits both absorption and fluorescence solvatochromism, large stokes shift, two electron quasireversible redox behaviour and good thermal stability, with a glass transition temperature of 104 oC. The third-order non-linear optical character was studied using open aperture Z-scan methodology employing 7 ns pulses at 532 nm. The third-order non-linear absorption coefficient, b, was 1.48 x 10-6 cm W-1 and the imaginary part of the third-order non-linear optical susceptibility, Im c(3), was 3.36x10-10 esu. The optical limiting threshold for the compound was found to be 340 MW cm-2.

Spectral and Nonlinear Optical Characteristics of ZnO Nanocomposites

The spectral and nonlinear optical properties of ZnO based nanocomposites prepared by colloidal chemical synthesis are investigated. Very strong UV emissions are observed from ZnO–Ag, ZnO– Cu and ZnO–SiO2 nanocomposites. The strongest visible emission of a typical ZnO–Cu nanocomposite is over ten times stronger than that of pure Cu due to transition from deep donor level to the copper induced level. The optical band gap of ZnO–CdS and ZnO–TiO2 nanocomposites is tunable and emission peaks changes almost in proportion to changes in band gap. Nonlinear optical response of these nanocomposites is studied using nanosecond laser pulses from a tunable laser in the wavelength range of 450–650 nm at resonance and off-resonance wavelengths. The nonlinear response is wavelength dependent and switching from RSA to SA has been observed at resonant wavelengths. Such a change-over is related to the interplay of plasmon/exciton band bleach and optical limiting mechanisms. The observed nonlinear absorption is explained through two photon absorption followed by weak free carrier absoption, interband absorption and nonlinear scattering mechanisms. The nonlinearity of the silica colloid is low and its nonlinear response can be improved by making composites with ZnO and ZnO–TiO2. The increase of the third-order nonlinearity in the composites can be attributed to the enhancement of exciton oscillator strength. This study is important in identifying the spectral range and the composition over which the nonlinear material acts as an RSA based optical limiter. These nanocomposites can be used as optical limiters and are potential materials for the light emission and for the development of nonlinear optical devices with a relatively small limiting threshold.

Spectral and Nonlinear Optical Characteristics of ZnO Nanocomposites

The spectral and nonlinear optical properties of ZnO based nanocomposites prepared by colloidal chemical synthesis are investigated. Very strong UV emissions are observed from ZnO–Ag, ZnO– Cu and ZnO–SiO2 nanocomposites. The strongest visible emission of a typical ZnO–Cu nanocomposite is over ten times stronger than that of pure Cu due to transition from deep donor level to the copper induced level. The optical band gap of ZnO–CdS and ZnO–TiO2 nanocomposites is tunable and emission peaks changes almost in proportion to changes in band gap. Nonlinear optical response of these nanocomposites is studied using nanosecond laser pulses from a tunable laser in the wavelength range of 450–650 nm at resonance and off-resonance wavelengths. The nonlinear response is wavelength dependent and switching from RSA to SA has been observed at resonant wavelengths. Such a change-over is related to the interplay of plasmon/exciton band bleach and optical limiting mechanisms. The observed nonlinear absorption is explained through two photon absorption followed by weak free carrier absoption, interband absorption and nonlinear scattering mechanisms. The nonlinearity of the silica colloid is low and its nonlinear response can be improved by making composites with ZnO and ZnO–TiO2. The increase of the third-order nonlinearity in the composites can be attributed to the enhancement of exciton oscillator strength. This study is important in identifying the spectral range and the composition over which the nonlinear material acts as an RSA based optical limiter. These nanocomposites can be used as optical limiters and are potential materials for the light emission and for the development of nonlinear optical devices with a relatively small limiting threshold.

Effect of annealing on the spectral and nonlinear optical characteristics of thin films of nano-ZnO

The annealing effect on the spectral and nonlinear optical NLO characteristics of ZnO thin films deposited on quartz substrates by sol-gel process is investigated. As the annealing temperature increases from 300–1050 °C, there is a decrease in the band gap, which indicates the changes of the interface of ZnO. ZnO is reported to show two emission bands, an ultraviolet UV emission band and another in the green region. The intensity of the UV peak remains the same while the intensity of the visible peak increases with increase in annealing temperature. The role of oxygen in ZnO thin films during the annealing process is important to the change in optical properties. The mechanism of the luminescence suggests that UV luminescence of ZnO thin films is related to the transition from conduction band edge to valence band, and green luminescence is caused by the transition from deep donor level to valence band due to oxygen vacancies. The NLO response of these samples is studied using nanosecond laser pulses at off-resonance wavelengths. The nonlinear absorption coefficient increases from 2.9 ×10−6 to 1.0 ×10−4 m/W when the annealing temperature is increased from 300 to 1050 °C, mainly due to the enhancement of interfacial state and exciton oscillator strength. The third order optical susceptibility x(3) increases with increase in annealing temperature (T) within the range of our investigations. In the weak confinement regime, T2.4 dependence of x(3) is obtained for ZnO thin films. The role of annealing temperature on the optical limiting response is also studied.

Nonlinear optical characteristics of self-assembled films of ZnO

In the present work, we have investigated the nonlinear optical properties of self-assembled films formed from ZnO colloidal spheres by z-scan technique. The sign of the nonlinear component of refractive index of the material remains the same; however, a switching from reverse saturable absorption to saturable absorption has been observed as the material changes from colloid to self-assembled film. These different nonlinear characteristics can be mainly attributed to ZnO defect states and electronic effects when the colloidal solution is transformed into self-assembled monolayers. We investigated the intensity, wavelength and size dependence of saturable and reverse saturable absorption of ZnO self-assembled films and colloids. Values of the imaginary part of third-order susceptibility are calculated for particles of size in the range 20–300 nm at different intensity levels ranging from 40 to 325MW/cm2 within the wavelength range of 450–650 nm.

Spectral and nonlinear optical characteristics of nanocomposites of ZnO-CdS

In this article, we present the spectral and nonlinear optical properties of ZnO–CdS nanocomposites prepared by colloidal chemical synthesis. The optical band gap (Eg) of the material is tunable between 2.62 and 3.84 eV. The emission peaks of ZnO–CdS nanocomposites change from 385 to 520 nm almost in proportion to changes in Eg. It is possible to obtain a desired luminescence color from UV to green by simply adjusting the composition. The nonlinear optical response of these samples is studied by using nanosecond laser pulses from a tunable laser at the excitonic resonance and off-resonance wavelengths. The nonlinear response is wavelength dependent, and switching from saturable absorption (SA) to reverse SA (RSA) has been observed for samples as the excitation wavelength changes from the excitonic resonance to off-resonance wavelengths. Such a changeover in the sign of the nonlinearity of ZnO–CdS nanocomposites is related to the interplay of exciton bleach and optical limiting mechanisms. The ZnO–CdS nanocomposites show self-defocusing nonlinearity and good nonlinear absorption behavior at off-resonant wavelengths. The nonlinear refractive index and the nonlinear absorption increase with increasing CdS volume fraction at 532 nm. The observed nonlinear absorption is attributed to two photon absorption followed by weak free carrier absorption. The enhancement of the third-order nonlinearity in the composites can be attributed to the concentration of exciton oscillator strength. This study is important in identifying the spectral range and composition over which the nonlinear material acts as a RSA based optical limiter. ZnO–CdS is a potential nanocomposite material for the tunable light emission and for the development of nonlinear optical devices with a relatively small limiting threshold.

Degenerate four wave mixing in some metal phthalocyanines and naphthalocyanines

Here we report measurements of third-order susceptibility χ(3), figure of merit F defined as χ(3)/α (where α is the absorption coefficient) and second hyperpolarizability 〈γ〉 of some metal substituted phthalocyanines and a naphthalocyanine in solutions of dimethyl formamide using degenerate four wave mixing at 532 nm under nanosecond excitation. It was found that among samples investigated, bis-naphthalocyanine possessed the highest value of 〈γ〉 followed by the bis-phthalocyanine. This observation is explained on the basis that bis-naphthalocyanine followed by bis-phthalocyanine has higher degree of π electron conjugation.

Effect of self assembly on the nonlinear optical characteristics of ZnO thin films

In the present work, we report the third order nonlinear optical properties of ZnO thin films deposited using self assembly, sol gel process as well as pulsed laser ablation by z scan technique. ZnO thin films clearly exhibit a negative nonlinear index of refraction at 532 nm and the observed nonlinear refraction is attributed to two photon absorption followed by free carrier absorption. Although the absolute nonlinear values for these films are comparable, there is a change in the sign of the absorptive nonlinearity of the films. The films developed by dip coating and pulsed laser ablation exhibit reverse saturable absorption whereas the self assembled film exhibits saturable absorption. These different nonlinear characteristics in the self assembled films can be mainly attributed to the saturation of linear absorption of the ZnO defect states.

Size-dependent enhancement of nonlinear optical properties in nanocolloids of ZnO

We have investigated the third-order nonlinearity in ZnO nanocolloids with particle sizes in the range 6-18 nm by the z-scan technique. The third-order optical susceptibility χ(3) increases with increasing particle size (R) within the range of our investigations. In the weak confinement regime, an R2 dependence of χ(3) is obtained for ZnO nanocolloids. The optical limiting response is also studied against particle size.

Investigations on Nonlinear and Radiative Properties of Certain Phatonic Materials

Light in its physical and philosophical sense has captured the imagination of human mind right from the dawn of civilization. The invention of lasers in the 60’s caused a renaissance in the field of optics. This intense, monochromatic, highly directional radiation created new frontiers in science and technology. The strong oscillating electric field of laser radiation creates a. polarisation response that is nonlinear in character in the medium through which it passes and the medium acts as a new source of optical field with alternate properties. It was in this context, that the field of optoelectronics which encompasses the generation, modulation, transmission etc. of optical radiation has gained tremendous importance. Organic molecules and polymeric systems have emerged as a class of promising materials of optoelectronics because they offer the flexibility, both at the molecular and bulk levels, to optimize the nonlinearity and other suitable properties for device applications. Organic nonlinear optical media, which yield large third-order nonlinearities, have been widely studied to develop optical devices like high speed switches, optical limiters etc. Transparent polymeric materials have found one of their most promising applicationsin lasers, in which they can be used as active elements with suitable laser dyes doped in it. The solid-matrix dye lasers make possible combination of the advantages of solid state lasers with the possibility of tuning the radiation over a broad spectral range. The polymeric matrices impregnated with organic dyes have not yet widely used because of the low resistance of the polymeric matrices to laser damage, their low dye photostability, and low dye stability over longer time of operation and storage. In this thesis we investigate the nonlinear and radiative properties of certain organic materials and doped polymeric matrix and their possible role in device development