Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.

Méthodes rapides et efficaces pour la résolution numérique d'équations de type Hamilton-Jacobi avec application à la simulation de feux de forêt

Cette thèse est divisée en trois chapitres. Le premier explique comment utiliser la méthode «level-set» de manière rigoureuse pour faire la simulation de feux de forêt en utilisant comme modèle physique pour la propagation le modèle de l'ellipse de Richards. Le second présente un nouveau schéma semi-implicite avec une preuve de convergence pour la solution d'une équation de type Hamilton-Jacobi anisotrope. L'avantage principal de cette méthode est qu'elle permet de réutiliser des solutions à des problèmes «proches» pour accélérer le calcul. Une autre application de ce schéma est l'homogénéisation. Le troisième chapitre montre comment utiliser les méthodes numériques des deux premiers chapitres pour étudier l'influence de variations à petites échelles dans la vitesse du vent sur la propagation d'un feu de forêt à l'aide de la théorie de l'homogénéisation.

Inférence robuste à la présence des valeurs aberrantes dans les enquêtes

Cette thèse comporte trois articles dont un est publié et deux en préparation. Le sujet central de la thèse porte sur le traitement des valeurs aberrantes représentatives dans deux aspects importants des enquêtes que sont : l’estimation des petits domaines et l’imputation en présence de non-réponse partielle. En ce qui concerne les petits domaines, les estimateurs robustes dans le cadre des modèles au niveau des unités ont été étudiés. Sinha & Rao (2009) proposent une version robuste du meilleur prédicteur linéaire sans biais empirique pour la moyenne des petits domaines. Leur estimateur robuste est de type «plugin», et à la lumière des travaux de Chambers (1986), cet estimateur peut être biaisé dans certaines situations. Chambers et al. (2014) proposent un estimateur corrigé du biais. En outre, un estimateur de l’erreur quadratique moyenne a été associé à ces estimateurs ponctuels. Sinha & Rao (2009) proposent une procédure bootstrap paramétrique pour estimer l’erreur quadratique moyenne. Des méthodes analytiques sont proposées dans Chambers et al. (2014). Cependant, leur validité théorique n’a pas été établie et leurs performances empiriques ne sont pas pleinement satisfaisantes. Ici, nous examinons deux nouvelles approches pour obtenir une version robuste du meilleur prédicteur linéaire sans biais empirique : la première est fondée sur les travaux de Chambers (1986), et la deuxième est basée sur le concept de biais conditionnel comme mesure de l’influence d’une unité de la population. Ces deux classes d’estimateurs robustes des petits domaines incluent également un terme de correction pour le biais. Cependant, ils utilisent tous les deux l’information disponible dans tous les domaines contrairement à celui de Chambers et al. (2014) qui utilise uniquement l’information disponible dans le domaine d’intérêt. Dans certaines situations, un biais non négligeable est possible pour l’estimateur de Sinha & Rao (2009), alors que les estimateurs proposés exhibent un faible biais pour un choix approprié de la fonction d’influence et de la constante de robustesse. Les simulations Monte Carlo sont effectuées, et les comparaisons sont faites entre les estimateurs proposés et ceux de Sinha & Rao (2009) et de Chambers et al. (2014). Les résultats montrent que les estimateurs de Sinha & Rao (2009) et de Chambers et al. (2014) peuvent avoir un biais important, alors que les estimateurs proposés ont une meilleure performance en termes de biais et d’erreur quadratique moyenne. En outre, nous proposons une nouvelle procédure bootstrap pour l’estimation de l’erreur quadratique moyenne des estimateurs robustes des petits domaines. Contrairement aux procédures existantes, nous montrons formellement la validité asymptotique de la méthode bootstrap proposée. Par ailleurs, la méthode proposée est semi-paramétrique, c’est-à-dire, elle n’est pas assujettie à une hypothèse sur les distributions des erreurs ou des effets aléatoires. Ainsi, elle est particulièrement attrayante et plus largement applicable. Nous examinons les performances de notre procédure bootstrap avec les simulations Monte Carlo. Les résultats montrent que notre procédure performe bien et surtout performe mieux que tous les compétiteurs étudiés. Une application de la méthode proposée est illustrée en analysant les données réelles contenant des valeurs aberrantes de Battese, Harter & Fuller (1988). S’agissant de l’imputation en présence de non-réponse partielle, certaines formes d’imputation simple ont été étudiées. L’imputation par la régression déterministe entre les classes, qui inclut l’imputation par le ratio et l’imputation par la moyenne sont souvent utilisées dans les enquêtes. Ces méthodes d’imputation peuvent conduire à des estimateurs imputés biaisés si le modèle d’imputation ou le modèle de non-réponse n’est pas correctement spécifié. Des estimateurs doublement robustes ont été développés dans les années récentes. Ces estimateurs sont sans biais si l’un au moins des modèles d’imputation ou de non-réponse est bien spécifié. Cependant, en présence des valeurs aberrantes, les estimateurs imputés doublement robustes peuvent être très instables. En utilisant le concept de biais conditionnel, nous proposons une version robuste aux valeurs aberrantes de l’estimateur doublement robuste. Les résultats des études par simulations montrent que l’estimateur proposé performe bien pour un choix approprié de la constante de robustesse.

Spectrum simulation of rough and nanostructured targets from their 2D and 3D image by Monte Carlo methods

Corteo is a program that implements Monte Carlo (MC) method to simulate ion beam analysis (IBA) spectra of several techniques by following the ions trajectory until a sufficiently large fraction of them reach the detector to generate a spectrum. Hence, it fully accounts for effects such as multiple scattering (MS). Here, a version of Corteo is presented where the target can be a 2D or 3D image. This image can be derived from micrographs where the different compounds are identified, therefore bringing extra information into the solution of an IBA spectrum, and potentially significantly constraining the solution. The image intrinsically includes many details such as the actual surface or interfacial roughness, or actual nanostructures shape and distribution. This can for example lead to the unambiguous identification of structures stoichiometry in a layer, or at least to better constraints on their composition. Because MC computes in details the trajectory of the ions, it simulates accurately many of its aspects such as ions coming back into the target after leaving it (re-entry), as well as going through a variety of nanostructures shapes and orientations. We show how, for example, as the ions angle of incidence becomes shallower than the inclination distribution of a rough surface, this process tends to make the effective roughness smaller in a comparable 1D simulation (i.e. narrower thickness distribution in a comparable slab simulation). Also, in ordered nanostructures, target re-entry can lead to replications of a peak in a spectrum. In addition, bitmap description of the target can be used to simulate depth profiles such as those resulting from ion implantation, diffusion, and intermixing. Other improvements to Corteo include the possibility to interpolate the cross-section in angle-energy tables, and the generation of energy-depth maps.

Simulation of the postoperative trunk appearance in scoliosis surgery

Persistence of external trunk asymmetry after scoliosis surgical treatment is frequent and difficult to predict by clinicians. This is a significant problem considering that correction of the apparent deformity is a major factor of satisfaction for the patients. A simulation of the correction on the external appearance would allow the clinician to illustrate to the patient the potential result of the surgery and would help in deciding on a surgical strategy that could most improve his/her appearance. We describe a method to predict the scoliotic trunk shape after a spine surgical intervention. The capability of our method was evaluated using real data of scoliotic patients. Results of the qualitative evaluation were very promising and a quantitative evaluation based on the comparison of the simulated and the actual postoperative trunk surface showed an adequate accuracy for clinical assessment. The required short simulation time also makes our approach an eligible candidate for a clinical environment demanding interactive simulations.

Décès pendant une simulation médicale : perspectives des apprenants et impacts sur le stress et la performance des réanimateurs

L’acceptabilité d’un décès lors d’une simulation médicale reste débattue mais il existe peu de données sur la perspective des apprenants. Des médecins résidents ont effectué une pratique de code et ont rempli un questionnaire pré et post-simulation. Ils ont été exposés à deux scénarios où un bébé naissait sans signe de vie: 1. Nouveau-né ne répondant pas aux manœuvres de réanimation (DCD); 2. Nouveau-né s’améliorant avec une réanimation adéquate (REA). Les performances étaient évaluées à l’aide de la grille standardisée du Programme de Réanimation Néonatale. Le stress objectif (cortisol salivaire) et subjectif a été mesuré après le code. La rétroaction («feedback»), individuelle et en groupe, fut analysée à l’aide de méthodologies qualitatives. 59/62 apprenants ont répondu au questionnaire et 42 ont participé à la simulation. Tous les résidents trouvent les simulations bénéfiques et souhaitent y être exposés davantage. Le type et l’ordre des scénarios n’ont pas eu d’impact sur la performance. Un seul résident a interrompu les manœuvres de réanimation après 10 minutes d’asystolie, tel que recommandé, et 31% ont poursuivi après 20 minutes. Les participants trouvaient le scénario DCD plus stressant. Les niveaux de cortisol salivaire ont augmenté après les simulations (p<0.001) et ce, pour les deux scénarios. Cette augmentation était indépendante du scénario (p=0.06) et n’était pas associée à la performance. Les réponses à la question « Comment a été votre expérience? », ont permis d’identifier deux thèmes: 1. Le mannequin ne meurt pas en simulation médicale; 2. Le décès lors de la simulation signifie une réanimation inadéquate. Le décès lors d’une pratique de code est stressant, mais n’interfère pas avec la performance des soignants. Les apprenants trouvent cet exercice acceptable et bénéfique à leur pratique future.

CFD Simulation of Multiphase Reactors

Regional Research Laboratory

Drought Climatology of Indo-Gangetic Region of India Using Remote Sensing and Crop Growth Simulation Models

Department of Atmospheric Sciences, Cochin University of Science and Technology

Studies Using Computer Simulation Models to Solve Problems Related to Logistics Terminals

This thesis deals with the use of simulation as a problem-solving tool to solve a few logistic system related problems. More specifically it relates to studies on transport terminals. Transport terminals are key elements in the supply chains of industrial systems. One of the problems related to use of simulation is that of the multiplicity of models needed to study different problems. There is a need for development of methodologies related to conceptual modelling which will help reduce the number of models needed. Three different logistic terminal systems Viz. a railway yard, container terminal of apart and airport terminal were selected as cases for this study. The standard methodology for simulation development consisting of system study and data collection, conceptual model design, detailed model design and development, model verification and validation, experimentation, and analysis of results, reporting of finding were carried out. We found that models could be classified into tightly pre-scheduled, moderately pre-scheduled and unscheduled systems. Three types simulation models( called TYPE 1, TYPE 2 and TYPE 3) of various terminal operations were developed in the simulation package Extend. All models were of the type discrete-event simulation. Simulation models were successfully used to help solve strategic, tactical and operational problems related to three important logistic terminals as set in our objectives. From the point of contribution to conceptual modelling we have demonstrated that clubbing problems into operational, tactical and strategic and matching them with tightly pre-scheduled, moderately pre-scheduled and unscheduled systems is a good workable approach which reduces the number of models needed to study different terminal related problems.

Monte Carlo simulation of interface alloying

An Ising-like model, with interactions ranging up to next-nearest-neighbor pairs, is used to simulate the process of interface alloying. Interactions are chosen to stabilize an intermediate "antiferromagnetic" ordered structure. The dynamics proceeds exclusively by atom-vacancy exchanges. In order to characterize the process, the time evolution of the width of the intermediate ordered region and the diffusion length is studied. Both lengths are found to follow a power-law evolution with exponents depending on the characteristic features of the model.

Modeling premartensitic effects in Ni2MnGa: A mean-field and Monte Carlo simulation study

ic first-order transition line ending in a critical point. This critical point is responsible for the existence of large premartensitic fluctuations which manifest as broad peaks in the specific heat, not always associated with a true phase transition. The main conclusion is that premartensitic effects result from the interplay between the softness of the anomalous phonon driving the modulation and the magnetoelastic coupling. In particular, the premartensitic transition occurs when such coupling is strong enough to freeze the involved mode phonon. The implication of the results in relation to the available experimental data is discussed.

Measurement and simulation of anisotropy in the Infrared and Raman spectra of beta-FeSi2 single crystals

In this paper we show that the orthorhombic phase of FeSi2 (stable at room temperature) displays a sizable anisotropy in the infrared spectra, with minor effects in the Raman data too. This fact is not trivial at all, since the crystal structure corresponds to a moderate distortion of the fluorite symmetry. Our analysis is carried out on small single crystals grown by flux transport, through polarization-resolved far-infrared reflectivity and Raman measurements. Their interpretation has been obtained by means of the simulated spectra with tight-binding molecular dynamics.

Diffusive transport properties in monovalent and divalent metal-ion halide melts: A computer simulation study

Self- and cross-velocity correlation functions and related transport coefficients of molten salts are studied by molecular-dynamics simulation. Six representative systems are considered, i.e., NaCl and KCl alkali halides, CuCl and CuBr noble-metal halides, and SrCl2 and ZnCl2 divalent metal-ion halides. Computer simulation results are compared with experimental self-diffusion coefficients and electrical conductivities. Special attention is paid to dynamic cross correlations and their dependence on the Coulomb interactions as well as on the size and mass differences between anions and cations.