918 resultados para Markov
Resumo:
The Hamilton Jacobi Bellman (HJB) equation is central to stochastic optimal control (SOC) theory, yielding the optimal solution to general problems specified by known dynamics and a specified cost functional. Given the assumption of quadratic cost on the control input, it is well known that the HJB reduces to a particular partial differential equation (PDE). While powerful, this reduction is not commonly used as the PDE is of second order, is nonlinear, and examples exist where the problem may not have a solution in a classical sense. Furthermore, each state of the system appears as another dimension of the PDE, giving rise to the curse of dimensionality. Since the number of degrees of freedom required to solve the optimal control problem grows exponentially with dimension, the problem becomes intractable for systems with all but modest dimension.
In the last decade researchers have found that under certain, fairly non-restrictive structural assumptions, the HJB may be transformed into a linear PDE, with an interesting analogue in the discretized domain of Markov Decision Processes (MDP). The work presented in this thesis uses the linearity of this particular form of the HJB PDE to push the computational boundaries of stochastic optimal control.
This is done by crafting together previously disjoint lines of research in computation. The first of these is the use of Sum of Squares (SOS) techniques for synthesis of control policies. A candidate polynomial with variable coefficients is proposed as the solution to the stochastic optimal control problem. An SOS relaxation is then taken to the partial differential constraints, leading to a hierarchy of semidefinite relaxations with improving sub-optimality gap. The resulting approximate solutions are shown to be guaranteed over- and under-approximations for the optimal value function. It is shown that these results extend to arbitrary parabolic and elliptic PDEs, yielding a novel method for Uncertainty Quantification (UQ) of systems governed by partial differential constraints. Domain decomposition techniques are also made available, allowing for such problems to be solved via parallelization and low-order polynomials.
The optimization-based SOS technique is then contrasted with the Separated Representation (SR) approach from the applied mathematics community. The technique allows for systems of equations to be solved through a low-rank decomposition that results in algorithms that scale linearly with dimensionality. Its application in stochastic optimal control allows for previously uncomputable problems to be solved quickly, scaling to such complex systems as the Quadcopter and VTOL aircraft. This technique may be combined with the SOS approach, yielding not only a numerical technique, but also an analytical one that allows for entirely new classes of systems to be studied and for stability properties to be guaranteed.
The analysis of the linear HJB is completed by the study of its implications in application. It is shown that the HJB and a popular technique in robotics, the use of navigation functions, sit on opposite ends of a spectrum of optimization problems, upon which tradeoffs may be made in problem complexity. Analytical solutions to the HJB in these settings are available in simplified domains, yielding guidance towards optimality for approximation schemes. Finally, the use of HJB equations in temporal multi-task planning problems is investigated. It is demonstrated that such problems are reducible to a sequence of SOC problems linked via boundary conditions. The linearity of the PDE allows us to pre-compute control policy primitives and then compose them, at essentially zero cost, to satisfy a complex temporal logic specification.
Resumo:
O câncer de colo do útero persiste como um importante problema de saúde em todo o mundo, em particular nos países em desenvolvimento. Duas vacinas contra o papilomavirus humano (HPV) encontram-se atualmente disponíveis e aprovadas para uso em meninas adolescentes, antes do início da vida sexual: uma bivalente, contra os sorotipos 16 e 18 e outra quadrivalente, contra os sorotipos 6, 11, 16 e 18. Estes imunobiológicos têm por objetivo induzir uma imunidade contra o papilomavírus e, desta forma, atuar na prevenção primária do câncer do colo de útero. As avaliações econômicas podem ser um elemento que auxiliem nos processos de tomada de decisão sobre a incorporação da vacina em programas de imunização nacionais. Estas avaliações foram o objeto central deste trabalho, que teve como objetivo sintetizar as evidências procedentes de uma revisão sistemática da literatura de estudos de avaliação econômica da utilização da vacina contra o HPV em meninas adolescentes e pré-adolescentes. Foi realizada uma busca na literatura nas bases MEDLINE (via Pubmed), LILACS (via Bireme) e National Health Service Economic Evaluation Database (NHS EED) ate junho de 2010. Dois avaliadores, de forma independente, selecionaram estudos de avaliação econômica completa, que tivessem como foco a imunização para HPV em mulheres com as vacinas comercialmente disponíveis direcionada à população adolescente. Após a busca, 188 títulos foram identificados; destes, 39 estudos preencheram os critérios de elegibilidade e foram incluídos na revisão. Por tratar-se de uma revisão de avaliações econômicas, não foi realizada uma medida de síntese dos valores de relação incremental entre custos e efetividade. Os 39 artigos incluídos envolveram 51 avaliações econômicas em 26 países. Predominaram estudos de custo-utilidade (51%). Do ponto de vista da perspectiva da análise, predominou o dos sistemas de saúde (76,4%). A maioria dos trabalhos (94,9%) elegeu meninas, com idade entre 9 e 12 anos, como sua população alvo e desenvolveu simulações considerando imunidade para toda a vida (84,6%). Os modelos utilizados nos estudos foram do tipo Markov em 25 análises, de transmissão dinâmica em 11 e híbridos em 3. As análises de sensibilidade revelaram um conjunto de elementos de incerteza, uma parte significativa dos quais relacionados a aspectos vacinais: custos da vacina, duração da imunidade, necessidade de doses de reforço, eficácia vacinal e cobertura do programa. Estes elementos configuram uma área de especial atenção para futuros modelos que venham a ser desenvolvidos no Brasil para análises econômicas da vacinação contra o HPV.
Resumo:
The problem of determining probability density functions of general transformations of random processes is considered in this thesis. A method of solution is developed in which partial differential equations satisfied by the unknown density function are derived. These partial differential equations are interpreted as generalized forms of the classical Fokker-Planck-Kolmogorov equations and are shown to imply the classical equations for certain classes of Markov processes. Extensions of the generalized equations which overcome degeneracy occurring in the steady-state case are also obtained.
The equations of Darling and Siegert are derived as special cases of the generalized equations thereby providing unity to two previously existing theories. A technique for treating non-Markov processes by studying closely related Markov processes is proposed and is seen to yield the Darling and Siegert equations directly from the classical Fokker-Planck-Kolmogorov equations.
As illustrations of their applicability, the generalized Fokker-Planck-Kolmogorov equations are presented for certain joint probability density functions associated with the linear filter. These equations are solved for the density of the output of an arbitrary linear filter excited by Markov Gaussian noise and for the density of the output of an RC filter excited by the Poisson square wave. This latter density is also found by using the extensions of the generalized equations mentioned above. Finally, some new approaches for finding the output probability density function of an RC filter-limiter-RC filter system driven by white Gaussian noise are included. The results in this case exhibit the data required for complete solution and clearly illustrate some of the mathematical difficulties inherent to the use of the generalized equations.
Resumo:
The propagation of waves in an extended, irregular medium is studied under the "quasi-optics" and the "Markov random process" approximations. Under these assumptions, a Fokker-Planck equation satisfied by the characteristic functional of the random wave field is derived. A complete set of the moment equations with different transverse coordinates and different wavenumbers is then obtained from the characteristic functional. The derivation does not require Gaussian statistics of the random medium and the result can be applied to the time-dependent problem. We then solve the moment equations for the phase correlation function, angular broadening, temporal pulse smearing, intensity correlation function, and the probability distribution of the random waves. The necessary and sufficient conditions for strong scintillation are also given.
We also consider the problem of diffraction of waves by a random, phase-changing screen. The intensity correlation function is solved in the whole Fresnel diffraction region and the temporal pulse broadening function is derived rigorously from the wave equation.
The method of smooth perturbations is applied to interplanetary scintillations. We formulate and calculate the effects of the solar-wind velocity fluctuations on the observed intensity power spectrum and on the ratio of the observed "pattern" velocity and the true velocity of the solar wind in the three-dimensional spherical model. The r.m.s. solar-wind velocity fluctuations are found to be ~200 km/sec in the region about 20 solar radii from the Sun.
We then interpret the observed interstellar scintillation data using the theories derived under the Markov approximation, which are also valid for the strong scintillation. We find that the Kolmogorov power-law spectrum with an outer scale of 10 to 100 pc fits the scintillation data and that the ambient averaged electron density in the interstellar medium is about 0.025 cm-3. It is also found that there exists a region of strong electron density fluctuation with thickness ~10 pc and mean electron density ~7 cm-3 between the PSR 0833-45 pulsar and the earth.
Resumo:
Let {Ƶn}∞n = -∞ be a stochastic process with state space S1 = {0, 1, …, D – 1}. Such a process is called a chain of infinite order. The transitions of the chain are described by the functions
Qi(i(0)) = Ƥ(Ƶn = i | Ƶn - 1 = i (0)1, Ƶn - 2 = i (0)2, …) (i ɛ S1), where i(0) = (i(0)1, i(0)2, …) ranges over infinite sequences from S1. If i(n) = (i(n)1, i(n)2, …) for n = 1, 2,…, then i(n) → i(0) means that for each k, i(n)k = i(0)k for all n sufficiently large.
Given functions Qi(i(0)) such that
(i) 0 ≤ Qi(i(0) ≤ ξ ˂ 1
(ii)D – 1/Ʃ/i = 0 Qi(i(0)) Ξ 1
(iii) Qi(i(n)) → Qi(i(0)) whenever i(n) → i(0),
we prove the existence of a stationary chain of infinite order {Ƶn} whose transitions are given by
Ƥ (Ƶn = i | Ƶn - 1, Ƶn - 2, …) = Qi(Ƶn - 1, Ƶn - 2, …)
With probability 1. The method also yields stationary chains {Ƶn} for which (iii) does not hold but whose transition probabilities are, in a sense, “locally Markovian.” These and similar results extend a paper by T.E. Harris [Pac. J. Math., 5 (1955), 707-724].
Included is a new proof of the existence and uniqueness of a stationary absolute distribution for an Nth order Markov chain in which all transitions are possible. This proof allows us to achieve our main results without the use of limit theorem techniques.
Resumo:
Estudos multitemporais de dados de sensoriamento remoto dedicam-se ao mapeamento temático de uso da terra em diferentes instâncias de tempo com o objetivo de identificar as mudanças ocorridas em uma região em determinado período. Em sua maioria, os trabalhos de classificação automática supervisionada de imagens de sensoriamento remoto não utilizam um modelo de transformação temporal no processo de classificação. Pesquisas realizadas na última década abriram um importante precedente ao comprovarem que a utilização de um modelo de conhecimento sobre a dinâmica da região (modelo de transformação temporal), baseado em Cadeias de Markov Fuzzy (CMF), possibilita resultados superiores aos produzidos pelos classificadores supervisionados monotemporais. Desta forma, o presente trabalho enfoca um dos aspectos desta abordagem pouco investigados: a combinação de CMF de intervalos de tempo curtos para classificar imagens de períodos longos. A área de estudo utilizada nos experimentos é um remanescente florestal situado no município de Londrina-PR e que abrange todo o limite do Parque Estadual Mata dos Godoy. Como dados de entrada, são utilizadas cinco imagens do satélite Landsat 5 TM com intervalo temporal de cinco anos. De uma forma geral, verificou-se, a partir dos resultados experimentais, que o uso das Cadeias de Markov Fuzzy contribuiu significativamente para a melhoria do desempenho do processo de classificação automática em imagens orbitais multitemporais, quando comparado com uma classificação monotemporal. Ainda, pôde-se observar que as classificações com base em matrizes estimadas para períodos curtos sempre apresentaram resultados superiores aos das classificações com base em matrizes estimadas para períodos longos. Também, que a superioridade da estimação direta frente à extrapolação se reduz com o aumento da distância temporal. Os resultados do presente trabalho poderão servir de motivação para a criação de sistemas automáticos de classificação de imagens multitemporais. O potencial de sua aplicação se justifica pela aceleração do processo de monitoramento do uso e cobertura da terra, considerando a melhoria obtida frente a classificações supervisionadas tradicionais.
Resumo:
Feature-based vocoders, e.g., STRAIGHT, offer a way to manipulate the perceived characteristics of the speech signal in speech transformation and synthesis. For the harmonic model, which provide excellent perceived quality, features for the amplitude parameters already exist (e.g., Line Spectral Frequencies (LSF), Mel-Frequency Cepstral Coefficients (MFCC)). However, because of the wrapping of the phase parameters, phase features are more difficult to design. To randomize the phase of the harmonic model during synthesis, a voicing feature is commonly used, which distinguishes voiced and unvoiced segments. However, voice production allows smooth transitions between voiced/unvoiced states which makes voicing segmentation sometimes tricky to estimate. In this article, two-phase features are suggested to represent the phase of the harmonic model in a uniform way, without voicing decision. The synthesis quality of the resulting vocoder has been evaluated, using subjective listening tests, in the context of resynthesis, pitch scaling, and Hidden Markov Model (HMM)-based synthesis. The experiments show that the suggested signal model is comparable to STRAIGHT or even better in some scenarios. They also reveal some limitations of the harmonic framework itself in the case of high fundamental frequencies.
Resumo:
In a multi-target complex network, the links (L-ij) represent the interactions between the drug (d(i)) and the target (t(j)), characterized by different experimental measures (K-i, K-m, IC50, etc.) obtained in pharmacological assays under diverse boundary conditions (c(j)). In this work, we handle Shannon entropy measures for developing a model encompassing a multi-target network of neuroprotective/neurotoxic compounds reported in the CHEMBL database. The model predicts correctly >8300 experimental outcomes with Accuracy, Specificity, and Sensitivity above 80%-90% on training and external validation series. Indeed, the model can calculate different outcomes for >30 experimental measures in >400 different experimental protocolsin relation with >150 molecular and cellular targets on 11 different organisms (including human). Hereafter, we reported by the first time the synthesis, characterization, and experimental assays of a new series of chiral 1,2-rasagiline carbamate derivatives not reported in previous works. The experimental tests included: (1) assay in absence of neurotoxic agents; (2) in the presence of glutamate; and (3) in the presence of H2O2. Lastly, we used the new Assessing Links with Moving Averages (ALMA)-entropy model to predict possible outcomes for the new compounds in a high number of pharmacological tests not carried out experimentally.
Resumo:
162 p.
Resumo:
No mundo, as hepatites decorrentes de infecções virais têm sido uma das grandes preocupações em saúde pública devido a seu caráter crônico, curso assintomático e pela sua capacidade de determinar a perda da função hepática. Com o uso em larga escala de medicamentos antirretrovirais, a doença hepática relacionada à infecção pelo vírus da hepatite C (VHC) contribuiu para uma mudança radical na história natural da infecção pelo vírus da imunodeficiência humana (HIV). Não se sabe ao certo o peso da coinfecção VHC/HIV no Brasil, mas evidências apontam que independentemente da região geográfica, esses indivíduos apresentam maiores dificuldades em eliminar o VHC após o tratamento farmacológico, quando comparados a monoinfectados. No âmbito do SUS, o tratamento antiviral padrão para portadores do genótipo 1 do VHC e do HIV é a administração de peguinterferon associado à Ribavirina. Quanto ao período de tratamento e aos indivíduos que devem ser incluídos, os dois protocolos terapêuticos mais recentes possuem divergências. A diretriz mais atual preconiza o tratamento de indivíduos respondedores precoces somados a respondedores virológicos lentos, enquanto a diretriz imediatamente anterior exclui na 12 semana indivíduos que não respondem completamente. Com base nessa divergência, esse estudo objetivou avaliar o custo-efetividade do tratamento contra o VHC em indivíduos portadores do genótipo 1, coinfectados com o HIV, virgens de tratamento antiviral, não cirróticos e imunologicamente estabilizados, submetidos às regras de tratamento antiviral estabelecidos pelas duas mais recentes diretrizes terapêuticas direcionadas ao atendimento pelo SUS. Para tal, foi elaborado um modelo matemático de decisão, baseado em cadeias de Markov, que simulou a progressão da doença hepática mediante o tratamento e não tratamento. Foi acompanhada uma coorte hipotética de mil indivíduos homens, maiores de 40 anos. Adotou-se a perspectiva do Sistema Único de Saúde, horizonte temporal de 30 anos e taxa de desconto de 5% para os custos e consequências clínicas. A extensão do tratamento para respondedores lentos proporcionou incremento de 0,28 anos de vida ajustados por qualidade (QALY), de 7% de sobrevida e aumento de 60% no número de indivíduos que eliminaram o VHC. Além dos esperados benefícios em eficácia, a inclusão de respondedores virológicos lentos mostrou-se uma estratégia custo-efetiva ao alcançar um incremental de custo efetividade de R$ 44.171/QALY, valor abaixo do limiar de aceitabilidade proposto pela Organização Mundial da Saúde OMS - (R$ 63.756,00/QALY). A análise de sensibilidade demonstrou que as possíveis incertezas contidas no modelo são incapazes de alterar o resultado final, evidenciando, assim, a robustez da análise. A inclusão de indivíduos coinfectados VHC/HIV respondedores virológicos lentos no protocolo de tratamento apresenta-se, do ponto de vista fármaco-econômico, como uma estratégia com relação de custoefetividade favorável para o Sistema Único de Saúde. Sua adoção é perfeitamente compatível com a perspectiva do sistema, ao retornar melhores resultados em saúdeassociados a custos abaixo de um teto orçamentário aceitável, e com o da sociedade, ao evitar em maior grau, complicações e internações quando comparado à não inclusão.
Resumo:
O estudo tem como objetivo geral avaliar a razão de custo-utilidade do tratamento da infecção pelo vírus da hepatite C (VHC) em pacientes dialisados, candidatos a transplante renal, tendo como esquemas terapêuticos alternativos o interferon-_ em monoterapia; o interferon peguilado em monoterapia; o interferon-_ em terapia combinada com ribavirina e o interferon peguilado em terapia combinada com ribavirina, comparando-os com o nãotratamento. A perspectiva do estudo foi a do Sistema Único de Saúde(SUS), que também serviu de base para estimar o impacto orçamentário da estratégia de tratamento mais custo efetiva. Para o alcance dos objetivos, foi construído um modelo de Makov para simulação de custos e resultados de cada estratégia avaliada. Para subsidiar o modelo, foi realizada uma revisão de literatura, a fim de definir os estados de saúde relacionados à infecção pelo vírus da hepatite C em transplantados e a probabilidade de transição entre os estados. Medidas de utilidade foram derivadas de consultas a especialistas. Os custos foram derivados da tabela de procedimentos do SUS. Os resultados do estudo demonstraram que o tratamento da infecção pelo VHC antes do transplante renal é mais custo-efetivo que o não tratamento, apontando o interferon-a como a melhor opção. O impacto orçamentário para adoção dessa estratégia pelo SUS corresponde a 0,3% do valor despendido pelo SUS com terapia renal substitutiva ao longo do ano de 2007.
Resumo:
As técnicas de injeção de traçadores têm sido amplamente utilizadas na investigação de escoamentos em meios porosos, principalmente em problemas envolvendo a simulação numérica de escoamentos miscíveis em reservatórios de petróleo e o transporte de contaminantes em aquíferos. Reservatórios subterrâneos são em geral heterogêneos e podem apresentar variações significativas das suas propriedades em várias escalas de comprimento. Estas variações espaciais são incorporadas às equações que governam o escoamento no interior do meio poroso por meio de campos aleatórios. Estes campos podem prover uma descrição das heterogeneidades da formação subterrânea nos casos onde o conhecimento geológico não fornece o detalhamento necessário para a predição determinística do escoamento através do meio poroso. Nesta tese é empregado um modelo lognormal para o campo de permeabilidades a fim de reproduzir-se a distribuição de permeabilidades do meio real, e a geração numérica destes campos aleatórios é feita pelo método da Soma Sucessiva de Campos Gaussianos Independentes (SSCGI). O objetivo principal deste trabalho é o estudo da quantificação de incertezas para o problema inverso do transporte de um traçador em um meio poroso heterogêneo empregando uma abordagem Bayesiana para a atualização dos campos de permeabilidades, baseada na medição dos valores da concentração espacial do traçador em tempos específicos. Um método do tipo Markov Chain Monte Carlo a dois estágios é utilizado na amostragem da distribuição de probabilidade a posteriori e a cadeia de Markov é construída a partir da reconstrução aleatória dos campos de permeabilidades. Na resolução do problema de pressão-velocidade que governa o escoamento empregase um método do tipo Elementos Finitos Mistos adequado para o cálculo acurado dos fluxos em campos de permeabilidades heterogêneos e uma abordagem Lagrangiana, o método Forward Integral Tracking (FIT), é utilizada na simulação numérica do problema do transporte do traçador. Resultados numéricos são obtidos e apresentados para um conjunto de realizações amostrais dos campos de permeabilidades.
Resumo:
Este trabalho estima, utilizando dados trimestrais de 1999 a 2011, o impacto dinâmico de um estímulo fiscal no Brasil sobre as principais variáveis macroeconômicas Brasileiras. Na estimativa dos impactos permitiu-se que as expectativas dos agentes econômicas fossem afetadas pela existência e probabilidade de alternância de regimes (foram detectados dois regimes) na política monetária do país. Os parâmetros da regra da política monetária, nos dois regimes detectados, foram estimados através de um modelo - composto apenas pela equação da regra da política monetária - que permite uma mudança de regime Markoviana. Os parâmetros do único regime encontrado para a política fiscal foram estimados por um modelo Vetorial de Correção de Erros (Vector Error Correction Model - VEC), composto apenas pelas variáveis pertencentes à regra da política fiscal. Os parâmetros estimados, para os diversos regimes das políticas monetária e fiscal, foram utilizados como auxiliares na calibragem de um modelo de equilíbrio geral estocástico dinâmico (MEGED), com mudanças de regime, com rigidez nominal de preços e concorrência monopolística (como em Davig e Leeper (2011)). Após a calibragem do MEGED os impactos dinâmicos de um estímulo fiscal foram obtidos através de uma rotina numérica (desenvolvida por Davig e Leeper (2006)) que permite obter o equilíbrio dinâmico do modelo resolvendo um sistema de equações de diferenças de primeira ordem expectacionais dinâmicas não lineares. Obtivemos que a política fiscal foi passiva durante todo o período analisado e que a política monetária foi sempre ativa, porém sendo em determinados momentos menos ativa. Em geral, em ambas as combinações de regimes, um choque não antecipado dos gastos do governo leva ao aumento do hiato do produto, aumento dos juros reais, redução do consumo privado e (em contradição com o resultado convencional) redução da taxa de inflação.
Resumo:
A generalized Bayesian population dynamics model was developed for analysis of historical mark-recapture studies. The Bayesian approach builds upon existing maximum likelihood methods and is useful when substantial uncertainties exist in the data or little information is available about auxiliary parameters such as tag loss and reporting rates. Movement rates are obtained through Markov-chain Monte-Carlo (MCMC) simulation, which are suitable for use as input in subsequent stock assessment analysis. The mark-recapture model was applied to English sole (Parophrys vetulus) off the west coast of the United States and Canada and migration rates were estimated to be 2% per month to the north and 4% per month to the south. These posterior parameter distributions and the Bayesian framework for comparing hypotheses can guide fishery scientists in structuring the spatial and temporal complexity of future analyses of this kind. This approach could be easily generalized for application to other species and more data-rich fishery analyses.
Resumo:
Molecular markers have been demonstrated to be useful for the estimation of stock mixture proportions where the origin of individuals is determined from baseline samples. Bayesian statistical methods are widely recognized as providing a preferable strategy for such analyses. In general, Bayesian estimation is based on standard latent class models using data augmentation through Markov chain Monte Carlo techniques. In this study, we introduce a novel approach based on recent developments in the estimation of genetic population structure. Our strategy combines analytical integration with stochastic optimization to identify stock mixtures. An important enhancement over previous methods is the possibility of appropriately handling data where only partial baseline sample information is available. We address the potential use of nonmolecular, auxiliary biological information in our Bayesian model.