Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.

Essays in macro finance and monetary economics

Les questions abordées dans les deux premiers articles de ma thèse cherchent à comprendre les facteurs économiques qui affectent la structure à terme des taux d'intérêt et la prime de risque. Je construis des modèles non linéaires d'équilibre général en y intégrant des obligations de différentes échéances. Spécifiquement, le premier article a pour objectif de comprendre la relation entre les facteurs macroéconomiques et le niveau de prime de risque dans un cadre Néo-keynésien d'équilibre général avec incertitude. L'incertitude dans le modèle provient de trois sources : les chocs de productivité, les chocs monétaires et les chocs de préférences. Le modèle comporte deux types de rigidités réelles à savoir la formation des habitudes dans les préférences et les coûts d'ajustement du stock de capital. Le modèle est résolu par la méthode des perturbations à l'ordre deux et calibré à l'économie américaine. Puisque la prime de risque est par nature une compensation pour le risque, l'approximation d'ordre deux implique que la prime de risque est une combinaison linéaire des volatilités des trois chocs. Les résultats montrent qu'avec les paramètres calibrés, les chocs réels (productivité et préférences) jouent un rôle plus important dans la détermination du niveau de la prime de risque relativement aux chocs monétaires. Je montre que contrairement aux travaux précédents (dans lesquels le capital de production est fixe), l'effet du paramètre de la formation des habitudes sur la prime de risque dépend du degré des coûts d'ajustement du capital. Lorsque les coûts d'ajustement du capital sont élevés au point que le stock de capital est fixe à l'équilibre, une augmentation du paramètre de formation des habitudes entraine une augmentation de la prime de risque. Par contre, lorsque les agents peuvent librement ajuster le stock de capital sans coûts, l'effet du paramètre de la formation des habitudes sur la prime de risque est négligeable. Ce résultat s'explique par le fait que lorsque le stock de capital peut être ajusté sans coûts, cela ouvre un canal additionnel de lissage de consommation pour les agents. Par conséquent, l'effet de la formation des habitudes sur la prime de risque est amoindri. En outre, les résultats montrent que la façon dont la banque centrale conduit sa politique monétaire a un effet sur la prime de risque. Plus la banque centrale est agressive vis-à-vis de l'inflation, plus la prime de risque diminue et vice versa. Cela est due au fait que lorsque la banque centrale combat l'inflation cela entraine une baisse de la variance de l'inflation. Par suite, la prime de risque due au risque d'inflation diminue. Dans le deuxième article, je fais une extension du premier article en utilisant des préférences récursives de type Epstein -- Zin et en permettant aux volatilités conditionnelles des chocs de varier avec le temps. L'emploi de ce cadre est motivé par deux raisons. D'abord des études récentes (Doh, 2010, Rudebusch and Swanson, 2012) ont montré que ces préférences sont appropriées pour l'analyse du prix des actifs dans les modèles d'équilibre général. Ensuite, l'hétéroscedasticité est une caractéristique courante des données économiques et financières. Cela implique que contrairement au premier article, l'incertitude varie dans le temps. Le cadre dans cet article est donc plus général et plus réaliste que celui du premier article. L'objectif principal de cet article est d'examiner l'impact des chocs de volatilités conditionnelles sur le niveau et la dynamique des taux d'intérêt et de la prime de risque. Puisque la prime de risque est constante a l'approximation d'ordre deux, le modèle est résolu par la méthode des perturbations avec une approximation d'ordre trois. Ainsi on obtient une prime de risque qui varie dans le temps. L'avantage d'introduire des chocs de volatilités conditionnelles est que cela induit des variables d'état supplémentaires qui apportent une contribution additionnelle à la dynamique de la prime de risque. Je montre que l'approximation d'ordre trois implique que les primes de risque ont une représentation de type ARCH-M (Autoregressive Conditional Heteroscedasticty in Mean) comme celui introduit par Engle, Lilien et Robins (1987). La différence est que dans ce modèle les paramètres sont structurels et les volatilités sont des volatilités conditionnelles de chocs économiques et non celles des variables elles-mêmes. J'estime les paramètres du modèle par la méthode des moments simulés (SMM) en utilisant des données de l'économie américaine. Les résultats de l'estimation montrent qu'il y a une évidence de volatilité stochastique dans les trois chocs. De plus, la contribution des volatilités conditionnelles des chocs au niveau et à la dynamique de la prime de risque est significative. En particulier, les effets des volatilités conditionnelles des chocs de productivité et de préférences sont significatifs. La volatilité conditionnelle du choc de productivité contribue positivement aux moyennes et aux écart-types des primes de risque. Ces contributions varient avec la maturité des bonds. La volatilité conditionnelle du choc de préférences quant à elle contribue négativement aux moyennes et positivement aux variances des primes de risque. Quant au choc de volatilité de la politique monétaire, son impact sur les primes de risque est négligeable. Le troisième article (coécrit avec Eric Schaling, Alain Kabundi, révisé et resoumis au journal of Economic Modelling) traite de l'hétérogénéité dans la formation des attentes d'inflation de divers groupes économiques et de leur impact sur la politique monétaire en Afrique du sud. La question principale est d'examiner si différents groupes d'agents économiques forment leurs attentes d'inflation de la même façon et s'ils perçoivent de la même façon la politique monétaire de la banque centrale (South African Reserve Bank). Ainsi on spécifie un modèle de prédiction d'inflation qui nous permet de tester l'arrimage des attentes d'inflation à la bande d'inflation cible (3% - 6%) de la banque centrale. Les données utilisées sont des données d'enquête réalisée par la banque centrale auprès de trois groupes d'agents : les analystes financiers, les firmes et les syndicats. On exploite donc la structure de panel des données pour tester l'hétérogénéité dans les attentes d'inflation et déduire leur perception de la politique monétaire. Les résultats montrent qu'il y a évidence d'hétérogénéité dans la manière dont les différents groupes forment leurs attentes. Les attentes des analystes financiers sont arrimées à la bande d'inflation cible alors que celles des firmes et des syndicats ne sont pas arrimées. En effet, les firmes et les syndicats accordent un poids significatif à l'inflation retardée d'une période et leurs prédictions varient avec l'inflation réalisée (retardée). Ce qui dénote un manque de crédibilité parfaite de la banque centrale au vu de ces agents.

Dynamic magnetic resonance spectroscopy of phosphate energetics during muscle exercise and recovery

Entailing of phosphorus exchanges in most bio-chemicals as a key factor in disease, increases researcher’s interest to develop the technologies capable of detecting this metabolite. Phosphorus magnetic resonance spectroscopy is able to detect key metabolites in a non-invasive manner. Particularly, it offers the ability to measure the dynamic rate of phosphocreatine(PCr) degeneration through the exercise and recovery. This metric as a valid indication of mitochondrial oxidative metabolism in muscle, differentiate between normal and pathological state. To do magnetic resonance imaging and spectroscopy, clinical research tools provide a wide variety of anatomical and functional contrasts, however they are typically restricted to the tissues containing water or hydrogen atoms and they are still blind to the biochemicals of other atoms of interests. Through this project we intended to obtain the phosphorus spectrum in human body – specificadenerativelly in muscle – using 31P spectroscopy. To do so a double loop RF surface coil, tuned to phosphorus frequency, is designed and fabricated using bench work facilities and then validated through in vitro spectroscopy using 3 Tesla Siemens scanner. We acquired in vitro as well as in vivo phosphorus spectrum in a 100 mM potassium phosphate phantom and human calf muscle in rest-exercise-recovery phase in a 3T MR scanner. The spectrum demonstrates the main constituent in high-energy phosphate metabolism. We also observed the dynamic variation of PCr for five young healthy subjects who performed planter flexions using resistance band during exercise and recovery. The took steps in this project pave the way for future application of spectroscopic quantification of phosphate metabolism in patients affected by carotid artery disease as well as in age-matched control subjects.

Évaluation de la performance du score de propension à hautes dimensions dans le cadre d’études observationnelles québécoises

Les scores de propension (PS) sont fréquemment utilisés dans l’ajustement pour des facteurs confondants liés au biais d’indication. Cependant, ils sont limités par le fait qu’ils permettent uniquement l’ajustement pour des facteurs confondants connus et mesurés. Les scores de propension à hautes dimensions (hdPS), une variante des PS, utilisent un algorithme standardisé afin de sélectionner les covariables pour lesquelles ils vont ajuster. L’utilisation de cet algorithme pourrait permettre l’ajustement de tous les types de facteurs confondants. Cette thèse a pour but d’évaluer la performance de l’hdPS vis-à-vis le biais d’indication dans le contexte d’une étude observationnelle examinant l’effet diabétogénique potentiel des statines. Dans un premier temps, nous avons examiné si l’exposition aux statines était associée au risque de diabète. Les résultats de ce premier article suggèrent que l’exposition aux statines est associée avec une augmentation du risque de diabète et que cette relation est dose-dépendante et réversible dans le temps. Suite à l’identification de cette association, nous avons examiné dans un deuxième article si l’hdPS permettait un meilleur ajustement pour le biais d’indication que le PS; cette évaluation fut entreprise grâce à deux approches: 1) en fonction des mesures d’association ajustées et 2) en fonction de la capacité du PS et de l’hdPS à sélectionner des sous-cohortes appariées de patients présentant des caractéristiques similaires vis-à-vis 19 caractéristiques lorsqu’ils sont utilisés comme critère d’appariement. Selon les résultats présentés dans le cadre du deuxième article, nous avons démontré que l’évaluation de la performance en fonction de la première approche était non concluante, mais que l’évaluation en fonction de la deuxième approche favorisait l’hdPS dans son ajustement pour le biais d’indication. Le dernier article de cette thèse a cherché à examiner la performance de l’hdPS lorsque des facteurs confondants connus et mesurés sont masqués à l’algorithme de sélection. Les résultats de ce dernier article indiquent que l’hdPS pourrait, au moins partiellement, ajuster pour des facteurs confondants masqués et qu’il pourrait donc potentiellement ajuster pour des facteurs confondants non mesurés. Ensemble ces résultats indiquent que l’hdPS serait supérieur au PS dans l’ajustement pour le biais d’indication et supportent son utilisation lors de futures études observationnelles basées sur des données médico-administratives.

Dynamic and Thermodynamic Structure of the Monsoon Boundary Layer over India

The objective of the study is to examine the dynamic and thermodynamic structure and the variations that occur in the surface layer during the pre-monsoon, onset and post-monsoon periods over the Indian region. The variations caused during the occurrence of micro and mesoscale systems, structure and variation in the marine boundary layer over the Indian region is also investigated. The drag coefficient computed indirectly also shows variation during various seasons. The thermodynamic structure of the atmosphere shows variation during the various seasons. The onset monsoon causes lowering of the Lifting Condensation Levels. The outcome of the study is expected to provide a better understanding of the structure and variations in the boundary layer over India, which is useful for many applications especially for numerical modeling studies.

Dynamic characteristics of Atmospheric boundary Layer during different phases of Monsoon

Atmospheric Boundary layer (ABL) is the layer just above the earth surface and is influenced by the surface forcing within a short period of an hour or less. In this thesis, characteristics of the boundary layer over ocean, coastal and inland areas of the atmosphere, especially over the monsoon regime are thoroughly studied. The study of the coastal zone is important due to its high vulnerability mainly due to sea breeze circulation and associated changes in the atmospheric boundary layer. The major scientific problems addressed in this thesis are diurnal and seasonal variation of coastal meteorological properties, the characteristic difference in the ABL during active and weak monsoons, features of ABL over marine environment and the variation of the boundary layer structure over an inland station. The thesis describes the various features in the ABL associated with the active and weak monsoons and, the surface boundary layer properties associated with the active and weak epochs. The study provides knowledge on MABL and can be used as the estimated values of boundary layer parameters over the marine atmosphere and to know the values and variabilities of the ABL parameters such as surface wind, surface friction, drag coefficient, wind stress and wind stress curl.

Dynamic mechanical analysis of binary and ternary polymer blends based on nylon copolymer/EPDM rubber and EPM grafted maleic anhydride compatibilizer

The dynamic mechanical properties such as storage modulus, loss modulus and damping properties of blends of nylon copolymer (PA6,66) with ethylene propylene diene (EPDM) rubber was investigated with special reference to the effect of blend ratio and compatibilisation over a temperature range –100°C to 150°C at different frequencies. The effect of change in the composition of the polymer blends on tanδ was studied to understand the extent of polymer miscibility and damping characteristics. The loss tangent curve of the blends exhibited two transition peaks, corresponding to the glass transition temperature (Tg) of individual components indicating incompatibility of the blend systems. The morphology of the blends has been examined by using scanning electron microscopy. The Arrhenius relationship was used to calculate the activation energy for the glass transition of the blends. Finally, attempts have been made to compare the experimental data with theoretical models.

Collective dynamic properties in simple crystals: Influence of the structural disorder

Collective dynamic properties in Lennard-Jones crystals are investigated by molecular dynamics simulation. The study is focused on properties such as the dynamic structure factors, the longitudinal and transverse currents and the density of states. The influence on these properties of the structural disorder is analyzed by comparing the results for one-component crystals with those for liquids and supercooled liquids at analogous conditions. The effects of species-disorder on the collective properties of binary crystals are also discussed.

Characterizations of Life Distributions Using Conditional Expectations of Doubly (Interval) Truncated Random Variables

In this article, we study reliability measures such as geometric vitality function and conditional Shannon’s measures of uncertainty proposed by Ebrahimi (1996) and Sankaran and Gupta (1999), respectively, for the doubly (interval) truncated random variables. In survival analysis and reliability engineering, these measures play a significant role in studying the various characteristics of a system/component when it fails between two time points. The interrelationships among these uncertainty measures for various distributions are derived and proved characterization theorems arising out of them

Some Dynamic Generalized Information Measures In The Context Of Weighted Models

In this paper, we study some dynamic generalized information measures between a true distribution and an observed (weighted) distribution, useful in life length studies. Further, some bounds and inequalities related to these measures are also studied

Characterizations of bivariate models using dynamic Kullback–Leibler discrimination measures

In this paper, the residual Kullback–Leibler discrimination information measure is extended to conditionally specified models. The extension is used to characterize some bivariate distributions. These distributions are also characterized in terms of proportional hazard rate models and weighted distributions. Moreover, we also obtain some bounds for this dynamic discrimination function by using the likelihood ratio order and some preceding results.

Dynamic cumulative residual Renyi’s entropy

Recently, cumulative residual entropy (CRE) has been found to be a new measure of information that parallels Shannon’s entropy (see Rao et al. [Cumulative residual entropy: A new measure of information, IEEE Trans. Inform. Theory. 50(6) (2004), pp. 1220–1228] and Asadi and Zohrevand [On the dynamic cumulative residual entropy, J. Stat. Plann. Inference 137 (2007), pp. 1931–1941]). Motivated by this finding, in this paper, we introduce a generalized measure of it, namely cumulative residual Renyi’s entropy, and study its properties.We also examine it in relation to some applied problems such as weighted and equilibrium models. Finally, we extend this measure into the bivariate set-up and prove certain characterizing relationships to identify different bivariate lifetime models

Dominant Mean Percentage Score Factors Of The Consumer Purchase Behaviour Of Passenger Cars

Globalization and liberalization, with the entry of many prominent foreign manufacturers, changed the automobile scenario in India, since early 1990’s. World Leaders in automobile manufacturing such as Ford, General Motors, Honda, Toyota, Suzuki, Hyundai, Renault, Mitsubishi, Benz, BMW, Volkswagen and Nissan set up their manufacturing units in India in joint venture with their Indian counterpart companies, by making use of the Foreign Direct Investment policy of the Government of India, These manufacturers started capturing the hearts of Indian car customers with their choice of technological and innovative product features, with quality and reliability. With the multiplicity of choices available to the Indian passenger car buyers, it drastically changed the way the car purchase scenario in India and particularly in the State of Kerala. This transformed the automobile scene from a sellers’ market to buyers’ market. Car customers started developing their own personal preferences and purchasing patterns, which were hitherto unknown in the Indian automobile segment. The main purpose of this paper is to come up with the identification of possible parameters and a framework development, that influence the consumer purchase behaviour patterns of passenger car owners in the State of Kerala, so that further research could be done, based on the framework and the identified parameters.

A New Fast Fractal Modeling Approach for the Detection of Microcalcifications in Mammograms

In this paper, a novel fast method for modeling mammograms by deterministic fractal coding approach to detect the presence of microcalcifications, which are early signs of breast cancer, is presented. The modeled mammogram obtained using fractal encoding method is visually similar to the original image containing microcalcifications, and therefore, when it is taken out from the original mammogram, the presence of microcalcifications can be enhanced. The limitation of fractal image modeling is the tremendous time required for encoding. In the present work, instead of searching for a matching domain in the entire domain pool of the image, three methods based on mean and variance, dynamic range of the image blocks, and mass center features are used. This reduced the encoding time by a factor of 3, 89, and 13, respectively, in the three methods with respect to the conventional fractal image coding method with quad tree partitioning. The mammograms obtained from The Mammographic Image Analysis Society database (ground truth available) gave a total detection score of 87.6%, 87.6%, 90.5%, and 87.6%, for the conventional and the proposed three methods, respectively.