Using Normative Markov Decision Processes for Evaluating Electronic Contracts: A Case Study in a Simulated Aerospace Aftermarket

Before signing electronic contracts, a rational agent should estimate the expected utilities of these contracts and calculate the violation risks related to them. In order to perform such pre-signing procedures, this agent has to be capable of computing a policy taking into account the norms and sanctions in the contracts. In relation to this, the contribution of this work is threefold. First, we present the Normative Markov Decision Process, an extension of the Markov Decision Process for explicitly representing norms. In order to illustrate the usage of our framework, we model an example in a simulated aerospace aftermarket. Second, we specify an algorithm for identifying the states of the process which characterize the violation of norms. Finally, we show how to compute policies with our framework and how to calculate the risk of violating the norms in the contracts by adopting a particular policy.

Desenvolvimento de arquitetura para sistemas de reconhecimento automático de voz baseados em modelos ocultos de Markov

Este trabalho foi realizado dentro da área de reconhecimento automático de voz (RAV). Atualmente, a maioria dos sistemas de RAV é baseada nos modelos ocultos de Markov (HMMs) [GOM 99] [GOM 99b], quer utilizando-os exclusivamente, quer utilizando-os em conjunto com outras técnicas e constituindo sistemas híbridos. A abordagem estatística dos HMMs tem mostrado ser uma das mais poderosas ferramentas disponíveis para a modelagem acústica e temporal do sinal de voz. A melhora da taxa de reconhecimento exige algoritmos mais complexos [RAV 96]. O aumento do tamanho do vocabulário ou do número de locutores exige um processamento computacional adicional. Certas aplicações, como a verificação de locutor ou o reconhecimento de diálogo podem exigir processamento em tempo real [DOD 85] [MAM 96]. Outras aplicações tais como brinquedos ou máquinas portáveis ainda podem agregar o requisito de portabilidade, e de baixo consumo, além de um sistema fisicamente compacto. Tais necessidades exigem uma solução em hardware. O presente trabalho propõe a implementação de um sistema de RAV utilizando hardware baseado em FPGAs (Field Programmable Gate Arrays) e otimizando os algoritmos que se utilizam no RAV. Foi feito um estudo dos sistemas de RAV e das técnicas que a maioria dos sistemas utiliza em cada etapa que os conforma. Deu-se especial ênfase aos Modelos Ocultos de Markov, seus algoritmos de cálculo de probabilidades, de treinamento e de decodificação de estados, e sua aplicação nos sistemas de RAV. Foi realizado um estudo comparativo dos sistemas em hardware, produzidos por outros centros de pesquisa, identificando algumas das suas características mais relevantes. Foi implementado um modelo de software, descrito neste trabalho, utilizado para validar os algoritmos de RAV e auxiliar na especificação em hardware. Um conjunto de funções digitais implementadas em FPGA, necessárias para o desenvolvimento de sistemas de RAV é descrito. Foram realizadas algumas modificações nos algoritmos de RAV para facilitar a implementação digital dos mesmos. A conexão, entre as funções digitais projetadas, para a implementação de um sistema de reconhecimento de palavras isoladas é aqui apresentado. A implementação em FPGA da etapa de pré-processamento, que inclui a pré-ênfase, janelamento e extração de características, e a implementação da etapa de reconhecimento são apresentadas finalmente neste trabalho.

Improving mutual fund market timing measures: a markov switching approach

Market timing performance of mutual funds is usually evaluated with linear models with dummy variables which allow for the beta coefficient of CAPM to vary across two regimes: bullish and bearish market excess returns. Managers, however, use their predictions of the state of nature to deÞne whether to carry low or high beta portfolios instead of the observed ones. Our approach here is to take this into account and model market timing as a switching regime in a way similar to Hamilton s Markov-switching GNP model. We then build a measure of market timing success and apply it to simulated and real world data.

Dynamic hedging in Markov regimes

This dissertation proposes a bivariate markov switching dynamic conditional correlation model for estimating the optimal hedge ratio between spot and futures contracts. It considers the cointegration between series and allows to capture the leverage efect in return equation. The model is applied using daily data of future and spot prices of Bovespa Index and R$/US$ exchange rate. The results in terms of variance reduction and utility show that the bivariate markov switching model outperforms the strategies based ordinary least squares and error correction models.

Testing the Markov property with ultra high frequency financial data

This paper develops a framework to test whether discrete-valued irregularly-spaced financial transactions data follow a subordinated Markov process. For that purpose, we consider a specific optional sampling in which a continuous-time Markov process is observed only when it crosses some discrete level. This framework is convenient for it accommodates not only the irregular spacing of transactions data, but also price discreteness. Further, it turns out that, under such an observation rule, the current price duration is independent of previous price durations given the current price realization. A simple nonparametric test then follows by examining whether this conditional independence property holds. Finally, we investigate whether or not bid-ask spreads follow Markov processes using transactions data from the New York Stock Exchange. The motivation lies on the fact that asymmetric information models of market microstructures predict that the Markov property does not hold for the bid-ask spread. The results are mixed in the sense that the Markov assumption is rejected for three out of the five stocks we have analyzed.

Um modelo "time-varying markov-Switching" para crescimento econômico e algoritmo de estimação

Este trabalho elabora um modelo para investigação do padrão de variação do crescimento econômico, entre diferentes países e através do tempo, usando um framework Markov- Switching com matriz de transição variável. O modelo desenvolvido segue a abordagem de Pritchett (2003), explicando a dinâmica do crescimento a partir de uma coleção de diferentes estados – cada qual com seu sub-modelo e padrão de crescimento – através dos quais os países oscilam ao longo do tempo. A matriz de transição entre os diferentes estados é variante no tempo, dependendo de variáveis condicionantes de cada país e a dinâmica de cada estado é linear. Desenvolvemos um método de estimação generalizando o Algoritmo EM de Diebold et al. (1993) e estimamos um modelo-exemplo em painel com a matriz de transição condicionada na qualidade das instituições e no nível de investimento. Encontramos três estados de crescimento: crescimento estável, ‘milagroso’ e estagnação - virtualmente coincidentes com os três primeiros de Jerzmanowski (2006). Os resultados mostram que a qualidade das instituições é um importante determinante do crescimento de longo prazo enquanto o nível de investimento tem papel diferenciado: contribui positivamente em países com boa qualidade de instituições e tem papel pouco relevante para os países com instituições medianas ou piores.

A time-varying markov-switching model for economic growth

This paper investigates economic growth’s pattern of variation across and within countries using a Time-Varying Transition Matrix Markov-Switching Approach. The model developed follows the approach of Pritchett (2003) and explains the dynamics of growth based on a collection of different states, each of which has a sub-model and a growth pattern, by which countries oscillate over time. The transition matrix among the different states varies over time, depending on the conditioning variables of each country, with a linear dynamic for each state. We develop a generalization of the Diebold’s EM Algorithm and estimate an example model in a panel with a transition matrix conditioned on the quality of the institutions and the level of investment. We found three states of growth: stable growth, miraculous growth, and stagnation. The results show that the quality of the institutions is an important determinant of long-term growth, whereas the level of investment has varying roles in that it contributes positively in countries with high-quality institutions but is of little relevance in countries with medium- or poor-quality institutions.

Cadeias de Markov clássicas e quânticas

Seguindo o trabalho de S. Gudder, fazemos uma construção de cadeias de Markov quânticas a partir de matrizes complexas, unitárias, estocásticas e analisamos o conceito de interferência nesse contexto, dando atenção para uma cadeia que chamamos de moeda quântica. Estamos interessados na entropia de cadeias de Markov reais, no princípio variacional para energia livre associado e em uma possível construção análoga no caso complexo. Este trabalho visa também dar uma introdução matematicamente rigorosa de certos aspectos de mecânica quântica

Analysis of contagion from the constant conditional correlation model with Markov regime switching

Over the last decades, the analysis of the transmissions of international nancial events has become the subject of many academic studies focused on multivariate volatility models volatility. The goal of this study is to evaluate the nancial contagion between stock market returns. The econometric approach employed was originally presented by Pelletier (2006), named Regime Switching Dynamic Correlation (RSDC). This methodology involves the combination of Constant Conditional Correlation Model (CCC) proposed by Bollerslev (1990) with Markov Regime Switching Model suggested by Hamilton and Susmel (1994). A modi cation was made in the original RSDC model, the introduction of the GJR-GARCH model formulated in Glosten, Jagannathan e Runkle (1993), on the equation of the conditional univariate variances to allow asymmetric e ects in volatility be captured. The database was built with the series of daily closing stock market indices in the United States (SP500), United Kingdom (FTSE100), Brazil (IBOVESPA) and South Korea (KOSPI) for the period from 02/01/2003 to 09/20/2012. Throughout the work the methodology was compared with others most widespread in the literature, and the model RSDC with two regimes was de ned as the most appropriate for the selected sample. The set of results provide evidence for the existence of nancial contagion between markets of the four countries considering the de nition of nancial contagion from the World Bank called very restrictive. Such a conclusion should be evaluated carefully considering the wide diversity of de nitions of contagion in the literature.

Mudanças de regimes na função de reação do Banco Central do Brasil : uma abordagem utilizando Markov Regime Switching

O presente trabalho busca identificar a ocorrência, duração e probabilidades de transição de diferentes regimes na condução da política monetária no Brasil a partir da implantação do sistema de metas de inflação em 1999. A estimação da função de reação do Banco Central do Brasil é realizada a partir de uma Regra de Taylor forward looking para uma economia aberta, onde utilizamos a metodologia Markov Regime Switching para caracterizar de forma endógena os diferentes regimes de política monetária. Os resultados obtidos indicam a ocorrência de três regimes distintos de política monetária a partir da implantação do sistema de metas de inflação no Brasil. O primeiro regime ocorre durante 21% do período estudado e se caracteriza pela não aderência ao princípio de Taylor e discricionariedade da autoridade monetária, que reage demonstrando maior sensibilidade ao hiato do produto. O segundo regime é o de maior duração, ocorre durante 67% do período estudado, e se caracteriza pela aderência ao princípio de Taylor e equilíbrio nos pesos atribuídos pelo Banco Central tanto ao hiato do produto como ao desvio das expectativas de inflação com relação à meta. Já o terceiro regime ocorre durante 12% do período estudado e se caracteriza não somente pela aderência ao princípio de Taylor, como também por uma maior aversão ao desvio das expectativas de inflação com relação à meta.

Algoritmos genéticos: uso de lógica nebulosa e análise de convergência por cadeia de Markov

In this work, the Markov chain will be the tool used in the modeling and analysis of convergence of the genetic algorithm, both the standard version as for the other versions that allows the genetic algorithm. In addition, we intend to compare the performance of the standard version with the fuzzy version, believing that this version gives the genetic algorithm a great ability to find a global optimum, own the global optimization algorithms. The choice of this algorithm is due to the fact that it has become, over the past thirty yares, one of the more importan tool used to find a solution of de optimization problem. This choice is due to its effectiveness in finding a good quality solution to the problem, considering that the knowledge of a good quality solution becomes acceptable given that there may not be another algorithm able to get the optimal solution for many of these problems. However, this algorithm can be set, taking into account, that it is not only dependent on how the problem is represented as but also some of the operators are defined, to the standard version of this, when the parameters are kept fixed, to their versions with variables parameters. Therefore to achieve good performance with the aforementioned algorithm is necessary that it has an adequate criterion in the choice of its parameters, especially the rate of mutation and crossover rate or even the size of the population. It is important to remember that those implementations in which parameters are kept fixed throughout the execution, the modeling algorithm by Markov chain results in a homogeneous chain and when it allows the variation of parameters during the execution, the Markov chain that models becomes be non - homogeneous. Therefore, in an attempt to improve the algorithm performance, few studies have tried to make the setting of the parameters through strategies that capture the intrinsic characteristics of the problem. These characteristics are extracted from the present state of execution, in order to identify and preserve a pattern related to a solution of good quality and at the same time that standard discarding of low quality. Strategies for feature extraction can either use precise techniques as fuzzy techniques, in the latter case being made through a fuzzy controller. A Markov chain is used for modeling and convergence analysis of the algorithm, both in its standard version as for the other. In order to evaluate the performance of a non-homogeneous algorithm tests will be applied to compare the standard fuzzy algorithm with the genetic algorithm, and the rate of change adjusted by a fuzzy controller. To do so, pick up optimization problems whose number of solutions varies exponentially with the number of variables

Modelagem de usinas eólicas através de um processo de Markov e técnicas de confiabilidade para a estimativa anual da energia produzida

This study aims to use a computational model that considers the statistical characteristics of the wind and the reliability characteristics of a wind turbine, such as failure rates and repair, representing the wind farm by a Markov process to determine the estimated annual energy generated, and compare it with a real case. This model can also be used in reliability studies, and provides some performance indicators that will help in analyzing the feasibility of setting up a wind farm, once the power curve is known and the availability of wind speed measurements. To validate this model, simulations were done using the database of the wind farm of Macau PETROBRAS. The results were very close to the real, thereby confirming that the model successfully reproduced the behavior of all components involved. Finally, a comparison was made of the results presented by this model, with the result of estimated annual energy considering the modeling of the distribution wind by a statistical distribution of Weibull