Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

Families of orthogonal functions defined by the Weyl groups of compact Lie groups

Plusieurs familles de fonctions spéciales de plusieurs variables, appelées fonctions d'orbites, sont définies dans le contexte des groupes de Weyl de groupes de Lie simples compacts/d'algèbres de Lie simples. Ces fonctions sont étudiées depuis près d'un siècle en raison de leur lien avec les caractères des représentations irréductibles des algèbres de Lie simples, mais également de par leurs symétries et orthogonalités. Nous sommes principalement intéressés par la description des relations d'orthogonalité discrète et des transformations discrètes correspondantes, transformations qui permettent l'utilisation des fonctions d'orbites dans le traitement de données multidimensionnelles. Cette description est donnée pour les groupes de Weyl dont les racines ont deux longueurs différentes, en particulier pour les groupes de rang $2$ dans le cas des fonctions d'orbites du type $E$ et pour les groupes de rang $3$ dans le cas de toutes les autres fonctions d'orbites.

Influence de la taille de départ, de l’état d’agglomération et de la dose de nanoparticules de dioxyde de titane (TiO2) inhalées sur la réponse pulmonaire chez le rat

En raison de leur petite taille, les nanoparticules (NP) (< 100 nm) peuvent coaguler très rapidement ce qui favorise leur pénétration dans l’organisme sous forme d’agglomérats. L’objectif de cette recherche est d’étudier l’influence de l’état d’agglomération de NP de dioxyde de titane (TiO2) de trois tailles de départ différentes, 5, 10-30 ou 50 nm sur la toxicité pulmonaire chez le rat mâle (F344) exposé à des aérosols de 2, 7 ou 20 mg/m3 pendant 6 heures. Dans une chambre d’inhalation, six groupes de rats (n = 6 par groupe) ont été exposés par inhalation aiguë nez-seulement à des aérosols ayant une taille primaire de 5 nm, mais produits sous forme faiblement (< 100 nm) ou fortement (> 100 nm) agglomérée à 2, 7 et 20 mg/m3. De façon similaire, quatre autres groupes de rats ont été exposés à 20 mg/m3 à des aérosols ayant une taille primaire de 10-30 et 50 nm. Les différents aérosols ont été générés par nébulisation à partir de suspensions ou par dispersion à sec. Pour chaque concentration massique, un groupe de rats témoins (n = 6 par groupe) a été exposé à de l’air comprimé dans les mêmes conditions. Les animaux ont été sacrifiés 16 heures après la fin de l’exposition et les lavages broncho-alvéolaires ont permis de doser des marqueurs d’effets inflammatoires, cytotoxiques et de stress oxydant. Des coupes histologiques de poumons ont également été analysées. L’influence de l’état d’agglomération des NP de TiO2 n’a pu être discriminée à 2 mg/m3. Aux concentrations massiques de 7 et 20 mg/m3, nos résultats montrent qu’une réponse inflammatoire aiguë est induite suite à l'exposition aux aérosols fortement agglomérés. En plus de cette réponse, l’exposition aux aérosols faiblement agglomérés à 20 mg/m3 s’est traduite par une augmentation significative de la 8-isoprostane et de la lactate déshydrogénase. À 20 mg/m3, les effets cytotoxiques étaient plus importants suite à l’exposition aux NP de 5 nm faiblement agglomérées. Ces travaux ont montré dans l'ensemble que différents mécanismes de toxicité pulmonaire peuvent être empruntés par les NP de TiO2 en fonction de la taille de départ et de l’état d’agglomération.

Studies on the Vertical Structure of Horizontal Wind Variability in the Surface Boundary Layer Over Sriharikota

The present study on the vertical structure of horizontal wind variability in the surface boundary layer over Sriharikota. Based on clock wind speed and direction measuring meteorological tower facility from seven levels in the 100 m layer. The study on wind variability and elliptical approximation of wind hodographs investigated for this tropical coastal station established that Sriharikota is of meso-scale weather entity. Wind variability ratio increases from lower levels to upper levels. In South West monsoon months the station is of high ratio values and it gets affected with meso-scale weather features like thunderstorms. Average total shears are observed greater values than scalar shears. Scalar shears are high in the lowest shear levels compared to upper levels. Semi diurnal types of oscillation in average total shears are found in south west monsoon months. During cyclonic storm passage it is observed that there can be significant difference in mean wind speed from 10 m to 100 m level, but it is not so for peak wind speeds. The variations in wind variability ratio in different months is clearly depicted its strong link to define meso-scale or synoptic –scale forcing domination for this station. Meso-scale forcing is characterized by diurnal wind variability and synoptic- scale forcing by interdiurnal wind variability.

Dynamic and Thermodynamic Structure of the Monsoon Boundary Layer over India

The objective of the study is to examine the dynamic and thermodynamic structure and the variations that occur in the surface layer during the pre-monsoon, onset and post-monsoon periods over the Indian region. The variations caused during the occurrence of micro and mesoscale systems, structure and variation in the marine boundary layer over the Indian region is also investigated. The drag coefficient computed indirectly also shows variation during various seasons. The thermodynamic structure of the atmosphere shows variation during the various seasons. The onset monsoon causes lowering of the Lifting Condensation Levels. The outcome of the study is expected to provide a better understanding of the structure and variations in the boundary layer over India, which is useful for many applications especially for numerical modeling studies.

Resonance Frequencies of Compact Microstrip Antenna

The arrow shaped microstrip antenna, which produces dual frequency dual polarisation operation with considera-ble size reduction compared to conventional patches has been reported [I]. These antennas provide greater area reduction and improved gain compared to drum shaped patches [2]. Prediction of the resonance frequency of drum shaped patches [3] and circular patches for broadband operation [4] are available in the literature. In this Letter, we propose empirical formulas for calculating the resonance frequencies of the arrow shaped microstrip antenna. These antennas can be employed for obtaining dual frequency with the same polarisation, bandwidth enhancement, circular polarisation etc. by varying its different parameters or by introducing slots. The proposed design equations provide an easier and simple way of predicting the resonant frequencies of these patches.

New compact microstrip antenna

A new microstrip antenna geometry with considerable reduction in size, with similar radiation characteristics to those of an equivalent rectangular patch antenna is proposed. A relationship has been suggested for fmding out the resonant frequency of the new geometry, and its validity has been established by the experimental results. Without increasing the aperture area, this geometry also offers a facility for considerably reducing the resonant frequency compared to conventional patches.

Mixed layer characteristics and hydrography off the west and east coasts of India

In this thesis, a detailed attempt has been made to understand the general hydrography of the upper 300m of the water column, in the eastern Arabian Sea and the western Bay of Bengal, the two contrasting basins in the northern Indian Ocean, using recently collected data sets of Marine Research-Living Resources (MR-LR) assessment programme, funded by Department of Ocean Development, from various cruises, pertaining to different seasons. Initially it discuss the general hydrography of the west and east coasts of India are covered, in the context of mixed layer processes. The study describes the materials and methods . To compare the hydrography of the AS and BOB, a unique MLD(Mixed Layer Depth) definition for AS and BOB is essential, for which the 275 CTD profiles were used. A comparison has been made among the various MLD criteria with the actual MLD. The monthly evolution of MLD, barrier layer thickness and the role of atmospheric forcing on the dynamics of the mixed layer in the AS and BOB were studied. The general hydrography along the west coast of India is described. The upwelling/downwelling, winter cooling processes, in the context of chemical and biological parameters, are also addressed. Finally the general hydrography of the Bay of Bengal is covered. The most striking feature in the hydrography are the signature of an anticyclonic subtropical gyre during spring intermonsoon and a cold core eddy during winter monsoon. The TTS(Typical Tropical Structure) of the euphotic layer was also investigated.

Dynamic characteristics of Atmospheric boundary Layer during different phases of Monsoon

Atmospheric Boundary layer (ABL) is the layer just above the earth surface and is influenced by the surface forcing within a short period of an hour or less. In this thesis, characteristics of the boundary layer over ocean, coastal and inland areas of the atmosphere, especially over the monsoon regime are thoroughly studied. The study of the coastal zone is important due to its high vulnerability mainly due to sea breeze circulation and associated changes in the atmospheric boundary layer. The major scientific problems addressed in this thesis are diurnal and seasonal variation of coastal meteorological properties, the characteristic difference in the ABL during active and weak monsoons, features of ABL over marine environment and the variation of the boundary layer structure over an inland station. The thesis describes the various features in the ABL associated with the active and weak monsoons and, the surface boundary layer properties associated with the active and weak epochs. The study provides knowledge on MABL and can be used as the estimated values of boundary layer parameters over the marine atmosphere and to know the values and variabilities of the ABL parameters such as surface wind, surface friction, drag coefficient, wind stress and wind stress curl.

Resonance frequencies of compact microstrip antenna

A simple technique for calculating the resonance frequencies of a compact arrow-shaped microstrip antenna is presented and discussed . The accuracy of the method is validated by experimental results

Compact Wideband Antenna for 2.4 GHz WLAN Applications

A novel compact wideband antenna for wireless local area network (WLAN) applications in the 2.4 GHz band are presented. The proposed low profile antenna of dimensions 15 x 14.5 x 1.6 mm offers 18.6% bandwidth and an average gain of~5 dBi. The antenna can be excited directly using a 50 coaxial probe

Compact Planar Multiband Antenna for GPS, DCS, 2.4/5.8 GHz WLAN Applications

A compact single –feed multiband planar antenna configuration Suitable for GPS, DCS. 2.4/5.8 GHz WLAN applications are presented. The antenna has dimensions 38 x 3 x 1.6 mm and offers good radiation and reflection characteristics in the above frequency bands. The antenna has a simple geometry and can be easily fed using a 50 coaxial probe