Uniqueness criteria for continuous-time Markov chains with general transition structures

We derive necessary and sufficient conditions for the existence of bounded or summable solutions to systems of linear equations associated with Markov chains. This substantially extends a famous result of G. E. H. Reuter, which provides a convenient means of checking various uniqueness criteria for birth-death processes. Our result allows chains with much more general transition structures to be accommodated. One application is to give a new proof of an important result of M. F. Chen concerning upwardly skip-free processes. We then use our generalization of Reuter's lemma to prove new results for downwardly skip-free chains, such as the Markov branching process and several of its many generalizations. This permits us to establish uniqueness criteria for several models, including the general birth, death, and catastrophe process, extended branching processes, and asymptotic birth-death processes, the latter being neither upwardly skip-free nor downwardly skip-free.

Statistical Numerical Methods for Eigenvalue Problem. Parallel Implementation

MSC subject classification: 65C05, 65U05.

Análise do crescimento econômico no Rio Grande do Sul através da aplicação de cadeias de Markov

O estudo do crescimento econômico é de suma importância para que possamos averiguar a trajetória de uma economia ao longo do tempo, a proposta desse trabalho é analisar o crescimento econômico no estado do Rio Grande do Sul, através do instrumental das cadeias de Markov, a ideia principal do estudo está na hipótese de convergência de renda. Primeiramente será testado a hipótese de convergência de renda do estado por meio das microrregiões, para isso serão utilizados dados de produto per capita dos anos de 1990, 2000 e 2010. Também será testado a hipótese de convergência para os municípios do Conselho Regional de Desenvolvimento Sul, situado no Rio Grande do Sul, utilizando dados de renda per capita dos anos de 1991, 2000 e 2010. Os resultados obtidos para as microrregiões do Rio Grande do Sul mostram que as economias não estão convergindo em sua totalidade para uma classe de renda especifica, porém é percebido que no longo prazo haverá uma maior concentração das microrregiões nos extratos de renda próximos a média, o tempo esperado para que as economias cheguem ao seu estado estacionário é de seis períodos. Por meio dos resultados obtidos para a região do Corede Sul, temos que as economias convergirão em sua maioria para a classe de renda médio pobre, seguido pela classe dos médios ricos. Ambas as classes estão situadas próximas a média regional, sendo que as classes de renda pobre e rico situadas aos extremos serão extintas no longo prazo. O tempo esperado para que as economias cheguem ao estado estacionário é de onze períodos.

Análise do crescimento econômico no Rio Grande do Sul através da aplicação de cadeias de markov

O estudo do crescimento econômico é de suma importância para que possamos averiguar a trajetória de uma economia ao longo do tempo, a proposta desse trabalho é analisar o crescimento econômico no estado do Rio Grande do Sul, através do instrumental das cadeias de Markov, a ideia principal do estudo está na hipótese de convergência de renda. Primeiramente será testado a hipótese de convergência de renda do estado por meio das microrregiões, para isso serão utilizados dados de produto per capita dos anos de 1990, 2000 e 2010. Também será testado a hipótese de convergência para os municípios do Conselho Regional de Desenvolvimento Sul, situado no Rio Grande do Sul, utilizando dados de renda per capita dos anos de 1991, 2000 e 2010. Os resultados obtidos para as microrregiões do Rio Grande do Sul mostram que as economias não estão convergindo em sua totalidade para uma classe de renda especifica, porém é percebido que no longo prazo haverá uma maior concentração das microrregiões nos extratos de renda próximos a média, o tempo esperado para que as economias cheguem ao seu estado estacionário é de seis períodos. Por meio dos resultados obtidos para a região do Corede Sul, temos que as economias convergirão em sua maioria para a classe de renda médio pobre, seguido pela classe dos médio ricos. Ambas as classes estão situadas próximas a média regional, sendo que as classes de renda pobre e rico situadas aos extremos serão extintas no longo prazo. O tempo esperado para que as economias cheguem ao estado estacionário é de onze períodos.

A risk model with an observer in a Markov environment

We consider a spectrally-negative Markov additive process as a model of a risk process in a random environment. Following recent interest in alternative ruin concepts, we assume that ruin occurs when an independent Poissonian observer sees the process as negative, where the observation rate may depend on the state of the environment. Using an approximation argument and spectral theory, we establish an explicit formula for the resulting survival probabilities in this general setting. We also discuss an efficient evaluation of the involved quantities and provide a numerical illustration.

Relative entropy rate based multiple hidden Markov Model Approximation

This paper proposes a novel relative entropy rate (RER) based approach for multiple HMM (MHMM) approximation of a class of discrete-time uncertain processes. Under different uncertainty assumptions, the model design problem is posed either as a min-max optimisation problem or stochastic minimisation problem on the RER between joint laws describing the state and output processes (rather than the more usual RER between output processes). A suitable filter is proposed for which performance results are established which bound conditional mean estimation performance and show that estimation performance improves as the RER is reduced. These filter consistency and convergence bounds are the first results characterising multiple HMM approximation performance and suggest that joint RER concepts provide a useful model selection criteria. The proposed model design process and MHMM filter are demonstrated on an important image processing dim-target detection problem.