Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.

Characterizations of Life Distributions Using Conditional Expectations of Doubly (Interval) Truncated Random Variables

In this article, we study reliability measures such as geometric vitality function and conditional Shannon’s measures of uncertainty proposed by Ebrahimi (1996) and Sankaran and Gupta (1999), respectively, for the doubly (interval) truncated random variables. In survival analysis and reliability engineering, these measures play a significant role in studying the various characteristics of a system/component when it fails between two time points. The interrelationships among these uncertainty measures for various distributions are derived and proved characterization theorems arising out of them

Characterizations of Bivariate Models Using Some Dynamic Conditional Information Divergence Measures

In this article, we study some relevant information divergence measures viz. Renyi divergence and Kerridge’s inaccuracy measures. These measures are extended to conditionally specifiedmodels and they are used to characterize some bivariate distributions using the concepts of weighted and proportional hazard rate models. Moreover, some bounds are obtained for these measures using the likelihood ratio order

CAPM und Behavioral Finance - Versuch einer Synthese

Seit Etablierung der ersten Börsen als Marktplatz für fungible Güter sind Marktteilnehmer und die Wissenschaft bemüht, Erklärungen für das Zustandekommen von Marktpreisen zu finden. Im Laufe der Zeit wurden diverse Modelle entwickelt. Allen voran ist das neoklassische Capital Asset Pricing Modell (CAPM) zu nennen. Die Neoklassik sieht den Akteur an den Finanzmärkten als emotionslosen und streng rationalen Entscheider, dem sog. homo oeconomicus. Psychologische Einflussfaktoren bei der Preisbildung bleiben unbeachtet. Mit der Behavioral Finance hat sich ein neuer Zweig zur Erklärung von Börsenkursen und deren Bewegungen entwickelt. Die Behavioral Finance sprengt die enge Sichtweise der Neoklassik und geht davon aus, dass psychologische Effekte die Entscheidung der Finanzakteure beeinflussen und dabei zu teilweise irrational und emotional geprägten Kursänderungen führen. Eines der Hauptprobleme der Behavioral Finance liegt allerdings in der fehlenden formellen Ermittelbarkeit und Testbarkeit der einzelnen psychologischen Effekte. Anders als beim CAPM, wo die einzelnen Parameter klar mathematisch bestimmbar sind, besteht die Behavioral Finance im Wesentlichen aus psychologischen Definitionen von kursbeeinflussenden Effekten. Die genaue Wirkrichtung und Intensität der Effekte kann, mangels geeigneter Modelle, nicht ermittelt werden. Ziel der Arbeit ist es, eine Abwandlung des CAPM zu ermitteln, die es ermöglicht, neoklassische Annahmen durch die Erkenntnisse des Behavioral Finance zu ergänzen. Mittels der technischen Analyse von Marktpreisen wird versucht die Effekte der Behavioral Finance formell darstellbar und berechenbar zu machen. Von Praktikern wird die technische Analyse dazu verwendet, aus Kursverläufen die Stimmungen und Intentionen der Marktteilnehmer abzuleiten. Eine wissenschaftliche Fundierung ist bislang unterblieben. Ausgehend von den Erkenntnissen der Behavioral Finance und der technischen Analyse wird das klassische CAPM um psychologische Faktoren ergänzt, indem ein Multi-Beta-CAPM (Behavioral-Finance-CAPM) definiert wird, in das psychologisch fundierte Parameter der technischen Analyse einfließen. In Anlehnung an den CAPM-Test von FAMA und FRENCH (1992) werden das klassische CAPM und das Behavioral-Finance-CAPM getestet und der psychologische Erklärungsgehalt der technischen Analyse untersucht. Im Untersuchungszeitraum kann dem Behavioral-Finance-CAPM ein deutlich höherer Erklärungsgehalt gegenüber dem klassischen CAPM zugesprochen werden.

Conditional compositional biplots: theory and application

The biplot has proved to be a powerful descriptive and analytical tool in many areas of applications of statistics. For compositional data the necessary theoretical adaptation has been provided, with illustrative applications, by Aitchison (1990) and Aitchison and Greenacre (2002). These papers were restricted to the interpretation of simple compositional data sets. In many situations the problem has to be described in some form of conditional modelling. For example, in a clinical trial where interest is in how patients’ steroid metabolite compositions may change as a result of different treatment regimes, interest is in relating the compositions after treatment to the compositions before treatment and the nature of the treatments applied. To study this through a biplot technique requires the development of some form of conditional compositional biplot. This is the purpose of this paper. We choose as a motivating application an analysis of the 1992 US President ial Election, where interest may be in how the three-part composition, the percentage division among the three candidates - Bush, Clinton and Perot - of the presidential vote in each state, depends on the ethnic composition and on the urban-rural composition of the state. The methodology of conditional compositional biplots is first developed and a detailed interpretation of the 1992 US Presidential Election provided. We use a second application involving the conditional variability of tektite mineral compositions with respect to major oxide compositions to demonstrate some hazards of simplistic interpretation of biplots. Finally we conjecture on further possible applications of conditional compositional biplots

Validez del supuesto de neutralidad del horizonte de tiempo en el CAPM y la metodología del rango reescalado: aplicación a Colombia

La existencia de memoria de largo plazo en las series financieras implica que los retornos de un activo hoy pueden tener incidencia sobre los retornos futuros, incluso más allá del corto plazo. En presencia de dicha memoria el horizonte de inversión elegido puede resultar en diferentes condiciones de riesgo para el inversionista. Peters (1989 y 1992), Mandelbrot (1972), León y Vivas (2010), entre otros, encuentran evidencia de dependencia de largo plazo de las series de tiempo financieras y muestran sus principales implicaciones. Este documento se ocupa de extender el análisis al uso del supuesto de neutralidad del horizonte de tiempo en el CAPM, estimando el efecto cuantitativo de la existencia de dependencia de largo plazo en este modelo según lo desarrollado por Greene y Fieltz (1980). Los resultados para una muestra de acciones colombianas y estadounidenses muestran que la distribución de la medida del riesgo sistémico en el modelo, el beta, es estadísticamente diferente cuando se incorpora el efecto de dependencia de largo plazo; por lo tanto, los retornos esperados de estas acciones cambian. En el mercado colombiano se observa una sobreestimación del beta cuando no se realiza el ajuste propuesto, mientras que en las acciones estadounidenses analizadas el beta sin el ajuste se encuentra subestimado. En cuanto a los retornos esperados, estos son sobrevalorados al no tener en cuenta el ajuste por dependencia de largo plazo, tanto en las acciones colombianas como en las estadounidenses.

On the design of education conditional cash transfer programs and non education outcomes: the case of teenage pregnancy

We investigate the effect of education Conditional Cash Transfer programs (CCTs) on teenage pregnancy. Our main concern is with how the size and sign of the effect may depend on the design of the program. Using a simple model we show that an education CCT that conditions renewal on school performance reduces teenage pregnancy; the program can increase teenage pregnancy if it does not condition on school performance. Then, using an original data base, we estimate the causal impact on teenage pregnancy of two education CCTs implemented in Bogot´a (Subsidio Educativo, SE, and Familias en Acci´on, FA); both programs differ particularly on whether school success is a condition for renewal or not. We show that SE has negative average effect on teenage pregnancy while FA has a null average effect. We also find that SE has either null or no effect for adolescents in all age and grade groups while FA has positive, null or negative effects for adolescents in different age and grade groups. Since SE conditions renewal on school success and FA does not, we can argue that the empirical results are consistent with the predictions of our model and that conditioning renewal of the subsidy on school success crucially determines the effect of the subsidy on teenage pregnancy

Dynamic conditional correlation in Latin-American asset markets

In this paper we reviewed the models of volatility for a group of five Latin American countries, mainly motivated by the recent periods of financial turbulence. Our results based on high frequency data suggest that Dynamic multivariate models are more powerful to study the volatilities of asset returns than Constant Conditional Correlation models. For the group of countries included, we identified that domestic volatilities of asset markets have been increasing; but the co-volatility of the region is still moderate.

Multiple perspectives on the concept of conditional probability. 'Perspectivas múltiples sobre el concepto del probabilidad condicional'

Resumen en portugués, español y francés. Resumen basado en el de la publicación

The influence of verbal mood in exceptive conditional reasoning : indicative versus subjunctive

Resumen tomado de la publicaci??n

The representation of conditional expectations of non-Gaussian noise

For Wiener spaces conditional expectations and $L^{2}$-martingales w.r.t. the natural filtration have a natural representation in terms of chaos expansion. In this note an extension to larger classes of processes is discussed. In particular, it is pointed out that orthogonality of the chaos expansion is not required.

Training conditional and cumulative risk judgements: the role of frequencies, problem-structure and Einstellung

Two experiments implement and evaluate a training scheme for learning to apply frequency formats to probability judgements couched in terms of percentages. Results indicate that both conditional and cumulative probability judgements can be improved in this manner, however the scheme is insufficient to promote any deeper understanding of the problem structure. In both experiments, training on one problem type only (either conditional or cumulative risk judgements) resulted in an inappropriate transfer of a learned method at test. The obstacles facing a frequency-based training programme for teaching appropriate use of probability data are discussed. Copyright (c) 2006 John Wiley & Sons, Ltd.

Autoregressive conditional kurtosis

This article proposes a new model for autoregressive conditional heteroscedasticity and kurtosis. Via a time-varying degrees of freedom parameter, the conditional variance and conditional kurtosis are permitted to evolve separately. The model uses only the standard Student’s t-density and consequently can be estimated simply using maximum likelihood. The method is applied to a set of four daily financial asset return series comprising U.S. and U.K. stocks and bonds, and significant evidence in favor of the presence of autoregressive conditional kurtosis is observed. Various extensions to the basic model are proposed, and we show that the response of kurtosis to good and bad news is not significantly asymmetric.