Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Régulation de l'hepcidine et le rôle de la lipocaline 2 dans l'homéostasie du fer / Novel insights into the regulation of hepcidin and the role of lipocalin 2 in iron homeostasis

Le fer, un métal de transition, est requis pour la survie de presque tout les organismes vivant à cause de son habilité à accepter ou donner un électron et donc à catalyser plusieurs réactions biochimique fondamentales. Cependant, la même propriété permet aussi au fer ionique d’accélérer la formation de radicaux libres et donc le fer peut potentiellement avoir des effets néfastes. Conséquemment, l’homéostasie du fer doit être étroitement régulé, tant au niveau cellulaire que systémique. Notre étude met l’emphase sur deux molécules importante pour régulation du métabolisme du fer : la lipocaline 2 (Lcn2) et l’hepcidine. Lcn2, une protéine de phase aiguë, est impliquée dans le transport du fer par les sidérophores. Lcn2 est un candidat potentiel comme transporteur du fer qui pourrait être responsable de l’accumulation excessive du fer non lié à la transferrine dans le foie des patients atteints d’hémochromatose héréditaire (HH). Nous avons généré des souris double-déficiente HfeLcn2 pour évaluer l’importance de Lcn2 dans la pathogenèse de surcharge en fer hépatique dans les souris knock-out Hfe (Hfe -/-). Notre étude révèle que la délétion de Lcn2 dans les souris Hfe-/- n’influence pas leur accumulation de fer hépatique ou leur réponse à une surcharge en fer. Le phénotype des souries HfeLcn2-/- demeure indiscernable de celui des souris Hfe-/-. Nos données impliquent que Lcn2 n’est pas essentiel pour la livraison du fer aux hépatocytes dans l’HH. L’hepcidine, un régulateur clé du métabolisme du fer, est un petit peptide antimicrobien produit par le foie et qui régule l’absorption intestinale du fer et son recyclage par les macrophages. L’expression de l’hepcidine est induite par la surcharge en fer et l’inflammation, tandis que, à l'inverse, elle est inhibée par l'anémie et l'hypoxie. Dans certaine situations pathologique, l’hepcidine est régulée dans des directions opposées par plus d’un régulateur. Nous avons, en outre, analysé comment les différents facteurs influencent l’expression de l’hepcidine in vivo en utilisant un modèle de souris avec un métabolisme du fer altéré. Nous avons examiné la régulation de l’hepcidine en présence de stimuli opposés, ainsi que la contribution des médiateurs et des voix de signalisation en aval de l’expression de l’hepcidine. Nous avons démontré que l'érythropoïèse, lorsque stimulé par l’érythropoïétine, mais pas par l’hypoxie, diminue l’expression de l’hepcidine d’une façon dépendante de la dose, même en présence de lipopolysaccharides ou de surcharge de fer alimentaire, qui peuvent agir de manière additive. De plus, l’entraînement érythropoïétique inhibe tant la voix inflammatoire que celle de détection du fer, du moins en partie, par la suppression du signal IL-6/STAT3 et BMP/SMAD4 in vivo. Au total, nos données suggèrent que le niveau d’expression de l’hepcidine en présence de signaux opposés est déterminé par la force du stimulus individuel plutôt que par une hiérarchie absolue. Ces découvertes sont pertinentes pour le traitement de l’anémie des maladies chronique et les désordres de surcharge en fer.

Lactide polymerization with iron alkoxide complexes

Les essais préliminaires pour préparer des alcoolates de fer à partir du bichlorure ou bibromure de fer (II), en les combinant avec des ligands de type diimino pyridine, ont engendré la formation de complexes homoleptiques et hétéroleptiques, dépendant des substituants sur les branches imines du ligand. Ces complexes homoleptiques octaédriques et paramagnétiques ont été étudiés par rapport à leurs propriétés spectroscopiques et cristallographiques. De plus, la synthèse des complexes de fer hétéroleptique a engendré de bons précurseurs penta-coordonnés pour les réactions de substitution de ligands avec des alcoolates de métaux alcalins, de manière à produire les dialcoolates de fer (II) désirés. Des techniques d’analyse telles que la spectroscopie UV-vis, l’analyse élémentaire, la spectrométrie de masse à haute résolution et la cristallographie aux rayons X ont été utilisées pour caractériser ces complexes de fer. L’activité catalytique de ces complexes de fer (II) a aussi été étudiée par rapport à la polymérisation du lactide; les dialcoolates convoités ont été générés in-situ en raison de la difficulté à produire et à isoler les dérivés alcoolates des complexes diimino pyridine de fer. Une étude approfondie a aussi été faite sur les réactions de polymérisation, surtout par rapport aux valeurs de conversion à l’échelle du temps, ainsi qu’à la tacticité des chaines de polymères obtenues. Ces analyses ont été effectuées par l’entremise de la spectroscopie de résonance magnétique nucléaire, de la chromatographie d’exclusion stérique, et de la spectrométrie de masse MALDI (désorption-ionisation laser assistée par matrice).

Extraction of Glucan from Acremonium Diospyri and Its Application in Macrobrachium Rosenbergii Larval Rearing System Along With Bacterians as Microspheres

Present work is aimed at development of an appropriate microbial technology for protection of larvae of macrobrachium rosenbergii from disease and to increase survival rate in hatcheries. Application of immunostimulants to activate the immune system of cultured animals against pathogen is the widely accepted alternative to antibiotics in aquaculture. The most important immunostimulant is glucan. Therefore a research programme entitled as extraction of glucan from Acremonium diospyri and its application in macrobrachium rosenbergii larval rearing system along with bacterians as microspheres. The main objectives of the study are development of aquaculture grade glucan from acremonium diospyri, microencapsulated drug delivery system for the larvae of M. rosenbergii and microencapsulated glucan with bacterian preparation for the enhanced production of M. rosenbergii in larval rearing system. Based on the results of field trials microencapsulated glucan with bacterin preparation, it is concluded that the microencapsulated preparation at a concentration of 25g per million larvae once in seven days will enhance the production and quality seed of M. rosenbergii.

INVESTIGATIONS ON THE SOLVENT EXTRACTION AND LUMINESCENCE OF LANTHANOIDS WITH MIXTURES OF HETEROCYCLIC β- DIKETONE S AND VARIOUS NEUTRAL OXO-DONORS

The thesis entitled “ Investigations on the solvent extraction and luminescence of lanthanoids with mixtures of heterocyclic β-diketone S and various neutral oxo-donors” embodies the results of investigations carried out on the solvent extraction of trivalent lanthanoids with various heterocyclic β-diketones in the presence and absence of neutral oxo-donors and also on the luminescent studies of Eu3+-heterocyclic β-diketonate complexes with Lewis bases. The primary objective of the present work is to generate the knowledge base, especially to understand the interactions of lanthanoid-heterocyclic β-diketonates with various macrocyclic ligands such as crown ethers and neutral organophosphorus extractants , with a view to achieve better selectivity. The secondary objective of this thesis is to develop novel lanthanoid luminescent materials based on 3-phenyl-4-aroyl-5-isoxazolones and organophosphorus ligands, for use in electroluminescent devices. In the beginning it describes the need for the development of new mixed-ligand systems for the separation of lanthanoids and the development and importance of novel luminescent lanthanoid- β-diketonate complexes for display devices. The syntheses of various para substituted derivatives of 4-aroyl-5-isoxazolones and their characterization by various spectroscopic techniques are described. It also investigate the solvent extraction behaviour of trivalent lanthanoids with 4-aroyl-5-isoxazolones in the presence and absence of various crown ethers such as 18C6, DC18C6, DB18C6 and B18C6. Elemental analysis, IR and H NMR spectral studies are used to understand the interactions of crown ethers with 4-aroyl-5-isoxazolonate complexes of lanthanoids. The synergistic extraction of trivalent lanthanoids with sterically hindered 1-phenyl-3-methyl-4-pivaloyl-5-pyrazolone in the presence of various structurally related crown ethers are studied. The syntheses, characterization and photyphysical properties of Eu3+-4-aroyl-5-isoxazolonate complexes in the presence of Lewis bases like trictylphosphine oxide or triphenylphosphine oxide were studied.

Synergistic solvent extraction of Thorium(IV) and Uranium(VI) with β-diketones in presence of oxo-donors

The thesis entitled “Synergistic solvent extraction of Thorium(IV) and Uranium(VI) with β-diketones in presence of oxo-donors” embodies the results of the investigations carried out on the extraction of thorium(IV) an uranium(VI) with heterocyclic β-diketones in the presence and absence of various macrocyclic ligands and neutral organophosphorus extractants. The objective of this work is to generate the knowledge base to achieve better selectivity between thorium(IV) and uranium(VI) by understanding the interactions of crown ethers or neutral organophosphorus extractants with metal-heterocyclic β-diketonate complexes. Para-substituted 1-phenyl-3-methyl-4-aroyl-5-pyrazolones, namely,1-phenyl-3-methyl-4-(4-fluorobenzoyl)-5-pyrazolone (HPMFBP) and 1-phenyl-3-methyl-4-(4-toluoyl)-5-pyrazolone (HPMTP) were synthesized and characterized by elemental analysis, IR and H NMR spectral data. The synthesized ligands have been utilized for the extraction of thorium(IV) and uranium(VI) from nitric acid solutions in the presence and absence of various crown ethers. Thorium(IV) and uranium(VI) complexes with HPMPP(1-Phenyl-3-methyl-4-pivaloyl-5-pyrazolone) and neutral organophosphorus extractants were synthesized and characterized by IR and P NMR spectral data to further understand the interactions of neutral organophosphorus extractants with metal-chelates. Solid complexes of thorium(IV) and uranium(VI) with para-substituted 4-aroyl-5-isoxazolones and crown ethers were isolated and characterized by various spectroscopic techniques to further clarify the nature of the extracted complexes.

OFFLINE AND ONLINE SOLID PHASE EXTRACTION/PRECONCENTRATION OF INORGANICS

Solid phase extraction (SPE) is a powerful technique for preconcentration/removal or separation of trace and ultra trace amounts of toxic and nutrient elements. SPE effectively simplifies the labour intensive sample preparation, increase its reliability and eliminate the clean up step by using more selective extraction procedures. The synthesis of sorbents with a simplified procedure and diminution of the risks of errors shows the interest in the areas of environmental monitoring, geochemical exploration, food, agricultural, pharmaceutical, biochemical industry and high purity metal designing, etc. There is no universal SPE method because the sample pretreatment depends strongly on the analytical demand. But there is always an increasing demand for more sensitive, selective, rapid and reliable analytical procedures. Among the various materials, chelate modified naphthalene, activated carbon and chelate functionalized highly cross linked polymers are most important. In the biological and environmental field, large numbers of samples are to be analysed within a short span of time. Hence, online flow injection methods are preferred as they allow extraction, separation, identification and quantification of many numbers of analytes. The flow injection online preconcentration flame AAS procedure developed allows the determination of as low as 0.1 µg/l of nickel in soil and cobalt in human hair samples. The developed procedure is precise and rapid and allows the analysis of 30 samples per hour with a loading time of 60 s. The online FI manifold used in the present study permits high sampling, loading rates and thus resulting in higher preconcentration/enrichment factors of -725 and 600 for cobalt and nickel respectively with a 1 min preconcentration time compared to conventional FAAS signal. These enrichment factors are far superior to hitherto developed on line preconcentration procedures for inorganics. The instrumentation adopted in the present study allows much simpler equipment and low maintenance costs compared to costlier ICP-AES or ICP-MS instruments.

Studies on Chemical Bath Deposited Semiconducting Copper Selenide and Iron Sulfide Thin Films Useful For Photovoltaic Applications

Chemical bath deposition (CBD)is one of the simplest, very convient and probably the cheapest method for thin film preparation. Photovoltaic is the cleanest and the most efficient mode of conversion of energy to electrical power. Silicon is the most popular material in this field. The present study on chemical bath deposited semiconducting copper selenide and iron sulfide thin films useful for photovoltaic applications. Semiconducting thin films prepared by chemical deposition find applications as photo detectors, solar control coatings and solar cells. Copper selenide is a p-type semiconductor that finds application in photovolitics. Several heterojunction systems such as Cu2-xSe/ZnSe (for injection electro luminescence), Cu2Se/AgInSe2 and Cu2Se/Si (for photodiodes), Cu2-xSe/CdS, Cu2-xSe/CdSe, CuxSe/InP and Cu2-xSe/Si for solar cells are reported. A maximum efficiency of 8.3% was achieved for the Cu2-xSe/Si cell, various preparation techniques are used for copper selenide like vacuum evaporation, direct reaction, electrodeposition and CBD. Instability of the as-prepared films was investigation and is accounted as mainly due to deviation from stoichiometry and the formation of iron oxide impurity. A sulphur annealing chamber was designed and fabricated for this work. These samples wee also analysed using optical absorption technique, XPS (X-ray Photoelectron Spectroscopy) and XRD.(X-Ray Diffraction).The pyrite films obtained by CBD technique showed amorphous nature and the electrical studies carried out showed the films to be of high resistive nature. Future work possible in the material of iron pyrite includes sulphur annealing of the non-stochiometric iron pyrite CBD thin films in the absence of atmospheric oxygen

Studies on Magnetic Iron Oxide Loaded Activated Carbon

The current water treatment technology is oriented towards the removal of contaminants, mostly organic compounds, by activated carbon. Activated carbons are classified as Granular Activated Carbons (GAC) and Powdered Activated Carbons (PAC) on the basis of the particle size of the carbon granules. Powdered carbons are generally less expensive than granular carbon, operating costs with powdered carbon could be lower. Though powdered activated carbon has many advantages over granular carbon, its application in large-scale separation process is limited by difficulty in recovery and regeneration. Deposition of magnetic iron oxide on carbon particles provides a convenient way of recovering the spent carbon from process water. The study deals with the preparation and physico-chemical characterization of magnetic iron oxide loaded activated carbons. The evaluation of absorption properties of magnetic iron oxide loaded activated carbon composites. The target molecules studied were phenol, p-nitro phenol and methylene blue. The feasibility of magnetic separation of iron oxide loaded activated carbons were studied and described in this thesis.

Synthesis, characterisation and benzylation activity of vanadia impregnated iron pillared montmorillonite

Iron pillared Montmorillonite has been synthesised and it is then wet impregnated with vanadia with different vanadia composition. These catalysts are characterised using conventional techniques such as XRD analysis,FTIR analysis and surface area and pore volume measurements. Acidity is measured using spectrophotometric monitoring of adsorption of perylene, thermogravimetric desorption of 2.6 dimethylpyridine and temperature programmed desorption of ammonia. Activity studies are done in the liquid phase. It has been concluded that Lewis acidic sites are responsible for the benzylation of toluene when the benzylating agent is benzyl chloride while Bronsted acidic sites are responsible when the reagent is benzyl alcohol.

Iron Promoted Sulphated Zirconia Systems as Efficient Catalysts for Phenol Hydroxylation

The present work investigates on the applicability of metal promoted sulphated zirconia catalysts for the hydroxylation of phenol under mild conditions. The percentage conversion and product distribution was highly sensitive towards the reaction parameters like the catalyst composition, reaction temperature, H202/ phenol ratio and the solvent used.

Liquid phase benzoylation of arenes over iron promoted sulphated zirconia

The present work undertakes the preparation and physico-chemical characterisation of iron promoted sulphated zirconia (SZ) with different amounts of iron loading and their application to Friedel-Crafts benzoylation of benzene, toluene and xylene under different experimental conditions, XRD and laser Raman techniques reveal the stabilisation of the tetragonal phase of zirconia and the existence of iron in highly dispersed form as Fe203 on the catalyst surface. The surface acidic properties were determined by ammonia temperature programmed desorption (TPD) and perylene adsorption, The results were supported by the TGA studies after adsorption of pyridine and 2,6-dimethylpyridine (2,6-DMP), Strong Lewis acid sites on the surface, which are evident from TPD and perylene adsorption studies. explain the high catalytic activity of the systems towards benzoylation. The experimental results provide evidence for the truly heterogeneous nature of the reaction. The studies also establish the resistance to deactivation in the metal incorporated sulphated systems.