Average control of Markov decision processes with Feller transition probabilities and general action spaces

This paper studies the average control problem of discrete-time Markov Decision Processes (MDPs for short) with general state space, Feller transition probabilities, and possibly non-compact control constraint sets A(x). Two hypotheses are considered: either the cost function c is strictly unbounded or the multifunctions A(r)(x) = {a is an element of A(x) : c(x, a) <= r} are upper-semicontinuous and compact-valued for each real r. For these two cases we provide new results for the existence of a solution to the average-cost optimality equality and inequality using the vanishing discount approach. We also study the convergence of the policy iteration approach under these conditions. It should be pointed out that we do not make any assumptions regarding the convergence and the continuity of the limit function generated by the sequence of relative difference of the alpha-discounted value functions and the Poisson equations as often encountered in the literature. (C) 2012 Elsevier Inc. All rights reserved.

Análise dos resultados maternos e fetais dos procedimentos invasivos genéticos fetais: um estudo exploratório em Hospital Universitário

OBJETIVO: Caracterizar as indicações das gestantes que procuraram o serviço de Medicina Fetal do Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo para realização de procedimentos invasivos diagnósticos e avaliar os resultados dos cariótipos fetais e de suas gestações. MÉTODOS: Estudo observacional retrospectivo das gestantes que realizaram biópsia de vilo corial (BVC), amniocentese e cordocentese no período de fevereiro de 2005 a dezembro de 2009. Não foram incluídos outros procedimentos diagnósticos ou procedimentos terapêuticos. O resultado da gestação foi obtido através de consulta de prontuário eletrônico e/ou físico e/ou contato telefônico. RESULTADOS: Foram realizados 713 procedimentos (113 BVC, 340 amniocenteses e 260 cordocenteses). A principal indicação para a realização dos procedimentos invasivos foi a presença de alterações estruturais nos fetos, seguido por valores aumentados da translucência nucal e pela idade materna avançada. O cariótipo fetal esteve alterado em 186 casos (26,1%). A trissomia do cromossomo 18 foi a aneuploidia mais comum, seguida pela trissomia do 21, a monossomia do X e a trissomia do cromossomo 13. Ocorreram 4,9% de abortamento, 25,7% de natimortos e 13% de neomortos. Oito gestantes optaram pela interrupção judicial, e 99% das gestantes cujos fetos não apresentavam malformação e que apresentavam cariótipo fetal normal tiveram nativivos.

SINGULARLY PERTURBED DISCOUNTED MARKOV CONTROL PROCESSES IN A GENERAL STATE SPACE

This paper studies the asymptotic optimality of discrete-time Markov decision processes (MDPs) with general state space and action space and having weak and strong interactions. By using a similar approach as developed by Liu, Zhang, and Yin [Appl. Math. Optim., 44 (2001), pp. 105-129], the idea in this paper is to consider an MDP with general state and action spaces and to reduce the dimension of the state space by considering an averaged model. This formulation is often described by introducing a small parameter epsilon > 0 in the definition of the transition kernel, leading to a singularly perturbed Markov model with two time scales. Our objective is twofold. First it is shown that the value function of the control problem for the perturbed system converges to the value function of a limit averaged control problem as epsilon goes to zero. In the second part of the paper, it is proved that a feedback control policy for the original control problem defined by using an optimal feedback policy for the limit problem is asymptotically optimal. Our work extends existing results of the literature in the following two directions: the underlying MDP is defined on general state and action spaces and we do not impose strong conditions on the recurrence structure of the MDP such as Doeblin's condition.

Algoritmos evolutivos e modelo HP para predição de estruturas de proteínas

Predição de estruturas de proteínas (PSP) é um problema computacionalmente complexo. Modelos simplificados da molécula proteica (como o Modelo HP) e o uso de Algoritmos Evolutivos (AEs) estão entre as principais técnicas investigadas para PSP. Entretanto, a avaliação de uma estrutura representada pelo Modelo HP considera apenas o número de contatos hidrofóbicos, não possibilitando distinguir entre estruturas com o mesmo número de contatos hidrofóbicos. Neste trabalho, é apresentada uma nova formulação multiobjetivo para PSP em Modelo HP. Duas métricas são avaliadas: o número de contatos hidrofóbicos e a distância entre os aminoácidos hidrofóbicos, as quais são tratados pelo AE Multiobjetivo em Tabelas (AEMT). O algoritmo mostrou-se rápido e robusto.

Parâmetros genéticos para a produção de leite em caprinos das raças Saanen e Alpina

Objetivou-se com este trabalho estimar parâmetros genéticos para a produção de leite acumulada até os 305 dias (P305) de cabras das raças Saanen e Alpina. Foram utilizadas as duas primeiras parições de cabras pertencentes a rebanhos participantes do programa de controle produtivo e reprodutivo de caprinos (PROCAPRI) da UNESP-FCAV-Jaboticabal-SP. A P305 foi analisada por meio de modelos de repetibilidade e bicaracterísticas. Para verificar a influência dos efeitos fixos sobre a característica analisada foram realizadas análises preliminares, pelo método de quadrados mínimos. Os componentes de covariâncias foram estimados pelo método da máxima verossimilhança restrita (REML), utilizando o programa Wombat. A duração da lactação, a idade da cabra ao parto, o rebanho, o ano de parto e a estação de parto foram importantes fontes de variação para a P305. Não houve diferença significativa entre as raças estudadas. As estimativas de herdabilidade e repetibilidade para a P305, obtidas com o modelo de repetibilidade, foram de 0,29 e 0,36, respectivamente. As estimativas de herdabilidade, obtidas pelos modelos de repetibilidade e bicaracterísticas foram semelhantes. Sendo assim, um modelo de repetibilidade poderia ser indicado para avaliar a P305 pela sua simplicidade.

Reconocimiento de formas manuscritas con modelos ocultos de Markov

Programa de doctorado Tecnologías de las Telecomunicaciones

Algoritmos de desrefinamiento en mallados estructurados bidimensionales

Programa de doctorado en el método de los elementos finitos en la Ingeniería

Modelización econométrica a través de cadenas de Markov de Monte Carlo (MCMC) en valoración contingente

Doctorado en Análisis Económico. Programa en Análisis Económico Aplicado

Mejora genética en dorada (Sparus auratus L.): estimación de parámetros genéticos de caracteres de crecimiento y calidad

Programa de Doctorado: Clínica y Terapéutica

Algoritmos evolutivos y preferencia del decisor aplicados a problemas de optimización multiobjetivos discretos

Programa de Doctorado: Tecnología Industrial

Nuevos algoritmos de localización, seguimiento e identificación de fuentes en escenarios con agrupaciones de sensores concentradas y distribuidas

Eliminadas las páginas en blanco del pdf