Sequential decision making in general state space models

Many problems in control and signal processing can be formulated as sequential decision problems for general state space models. However, except for some simple models one cannot obtain analytical solutions and has to resort to approximation. In this thesis, we have investigated problems where Sequential Monte Carlo (SMC) methods can be combined with a gradient based search to provide solutions to online optimisation problems. We summarise the main contributions of the thesis as follows. Chapter 4 focuses on solving the sensor scheduling problem when cast as a controlled Hidden Markov Model. We consider the case in which the state, observation and action spaces are continuous. This general case is important as it is the natural framework for many applications. In sensor scheduling, our aim is to minimise the variance of the estimation error of the hidden state with respect to the action sequence. We present a novel SMC method that uses a stochastic gradient algorithm to find optimal actions. This is in contrast to existing works in the literature that only solve approximations to the original problem. In Chapter 5 we presented how an SMC can be used to solve a risk sensitive control problem. We adopt the use of the Feynman-Kac representation of a controlled Markov chain flow and exploit the properties of the logarithmic Lyapunov exponent, which lead to a policy gradient solution for the parameterised problem. The resulting SMC algorithm follows a similar structure with the Recursive Maximum Likelihood(RML) algorithm for online parameter estimation. In Chapters 6, 7 and 8, dynamic Graphical models were combined with with state space models for the purpose of online decentralised inference. We have concentrated more on the distributed parameter estimation problem using two Maximum Likelihood techniques, namely Recursive Maximum Likelihood (RML) and Expectation Maximization (EM). The resulting algorithms can be interpreted as an extension of the Belief Propagation (BP) algorithm to compute likelihood gradients. In order to design an SMC algorithm, in Chapter 8 uses a nonparametric approximations for Belief Propagation. The algorithms were successfully applied to solve the sensor localisation problem for sensor networks of small and medium size.

An overview of sequential Monte Carlo methods for parameter estimation in general state-space models

Nonlinear non-Gaussian state-space models arise in numerous applications in control and signal processing. Sequential Monte Carlo (SMC) methods, also known as Particle Filters, are numerical techniques based on Importance Sampling for solving the optimal state estimation problem. The task of calibrating the state-space model is an important problem frequently faced by practitioners and the observed data may be used to estimate the parameters of the model. The aim of this paper is to present a comprehensive overview of SMC methods that have been proposed for this task accompanied with a discussion of their advantages and limitations.

Sequential Monte Carlo computation of the score and observed information matrix in state-space models with application to parameter estimation

Sequential Monte Carlo (SMC) methods are popular computational tools for Bayesian inference in non-linear non-Gaussian state-space models. For this class of models, we propose SMC algorithms to compute the score vector and observed information matrix recursively in time. We propose two different SMC implementations, one with computational complexity $\mathcal{O}(N)$ and the other with complexity $\mathcal{O}(N^{2})$ where $N$ is the number of importance sampling draws. Although cheaper, the performance of the $\mathcal{O}(N)$ method degrades quickly in time as it inherently relies on the SMC approximation of a sequence of probability distributions whose dimension is increasing linearly with time. In particular, even under strong \textit{mixing} assumptions, the variance of the estimates computed with the $\mathcal{O}(N)$ method increases at least quadratically in time. The $\mathcal{O}(N^{2})$ is a non-standard SMC implementation that does not suffer from this rapid degrade. We then show how both methods can be used to perform batch and recursive parameter estimation.

Convergence of the auxiliary particle implementation of the PHD filter

Optimal Bayesian multi-target filtering is in general computationally impractical owing to the high dimensionality of the multi-target state. The Probability Hypothesis Density (PHD) filter propagates the first moment of the multi-target posterior distribution. While this reduces the dimensionality of the problem, the PHD filter still involves intractable integrals in many cases of interest. Several authors have proposed Sequential Monte Carlo (SMC) implementations of the PHD filter. However, these implementations are the equivalent of the Bootstrap Particle Filter, and the latter is well known to be inefficient. Drawing on ideas from the Auxiliary Particle Filter (APF), a SMC implementation of the PHD filter which employs auxiliary variables to enhance its efficiency was proposed by Whiteley et. al. Numerical examples were presented for two scenarios, including a challenging nonlinear observation model, to support the claim. This paper studies the theoretical properties of this auxiliary particle implementation. $\mathbb{L}_p$ error bounds are established from which almost sure convergence follows.

Auxiliary particle implementation of the probability hypothesis density filter

Optimal Bayesian multi-target filtering is, in general, computationally impractical owing to the high dimensionality of the multi-target state. The Probability Hypothesis Density (PHD) filter propagates the first moment of the multi-target posterior distribution. While this reduces the dimensionality of the problem, the PHD filter still involves intractable integrals in many cases of interest. Several authors have proposed Sequential Monte Carlo (SMC) implementations of the PHD filter. However, these implementations are the equivalent of the Bootstrap Particle Filter, and the latter is well known to be inefficient. Drawing on ideas from the Auxiliary Particle Filter (APF), we present a SMC implementation of the PHD filter which employs auxiliary variables to enhance its efficiency. Numerical examples are presented for two scenarios, including a challenging nonlinear observation model.

TrustedPals plataformarako middlewarearen inplementazioa eta simulazioa

Sistema banatuak zenbait konputagailu edo gailu autonomoaz osaturiko sareak dira, non algoritmo banatuen bidez partaide guztien lana koordinatzen da entitate bakarra izatearen irudia emanez. Eredu honi esker sistemaren sendotasuna handitzen da, posible baita sistemak aurrera jarraitzea zenbait partaidek huts egin arren. Sistema banatuak diseinatzeak badu zenbait zailtasun, prozesu guztien arteko koordinazioa lortu behar baita. Erronka nagusietako bat adostasuna edo consensus lortzea da; hau da, prozesu guztiak ados jartzea zerbait erabaki behar dutenean. Ingurune desberdinetan planteatu badaiteke ere, lan honetan Byzantine ingurunean egingo da. Ingurune honetan partaideen hutsegiteak ausaz gerta daitezke eta edozein momentutan. Horrez gain, hutsegite horiek edozein motakoak izan daitezke, hala nola, prozesu bat bertan behera geratzea edota prozesu baten eskaera okerra edo lekuz kanpokoa egitea. Aurkeztutako consensus arazoa garrantzi handikoa da sistema banatuen arloan, honen bitartez beste hainbat helburu lortu baitaitezke. Horien artean Secure Multy-party Computation (SMC) dugu, non sare banatu bateko partaide guztiek adostasuna lotu behar dute partaide bakoitzaren informazioa gainontzekoei ezkutatuz. Horren adibide bezala “aberatsaren arazoa” azaldu ohi da, non partaide guztiek aurkitu behar dute zein den beraien artean aberatsena, partaide bakoitzak gainontzekoen “aberastasuna” ezagutu ahal izan gabe. SMC erabili daiteke soluzioa emateko planteamendu bera jarraitzen duten aplikazio erreal askori, hala nola, enkante pribatuak edo bozketak. SMC inplementatu ahal izateko TrustedPals izeneko plataforma dugu, non diseinu modularra jarraituz smartcard bat eta algoritmo banatuak konbinatzen dira lehenengo consensus eta ondoren SMC lortzeko. Karrera amaierako proiektu honen helburua TrustedPals proposamenaren alde praktikoa jorratzea izango da. Horretarako proposamenaren algoritmo banatuak inplementatu eta simulatuko dira zenbait probetako kasuetan. Simulazioak bideratzeko gertaera diskretuko NS-3 simulagailuan erabiliko da. Simulazio eszenario desberdinak inplementatuko dira eta ondoren emaitzak aztertuko dira.

Application of the Schwinger multichannel method to multichannel studies of electronically inelastic electron-molecule collisions

We have applied the Schwinger Multichannel Method(SMC) to the study of electronically inelastic, low energy electron-molecule collisions. The focus of these studies has been the assessment of the importance of multichannel coupling to the dynamics of these excitation processes. It has transpired that the promising quality of results realized in early SMC work on such inelastic scattering processes has been far more difficult to obtain in these more sophisticated studies.

We have attempted to understand the sources of instability of the SMC method which are evident in these multichannel studies. Particular instances of such instability have been considered in detail, which indicate that linear dependence, failure of the separable potential approximation, and difficulties in converging matrix elements involving recorrelation or Q-space terms all conspire to complicate application of the SMC method to these studies. A method involving singular value decomposition(SVD) has been developed to, if not resolve these problems, at least mitigate their deleterious effects on the computation of electronically inelastic cross sections.

In conjunction with this SVD procedure, the SMC method has been applied to the study of the H_2 , H_2O, and N_2 molecules. Rydberg excitations of the first two molecules were found to be most sensitive to multichannel coupling near threshold. The (3σ_g → 1π_g ) and (1π_u → 1π_g) valence excitations of the N_2 molecule were found to be strongly influenced by the choice of channel coupling scheme at all collision energies considered in these studies.

Modelado y control de estación de célula de manipulación

[ES]El objetivo de este proyecto es el diseño e implementación del modelo de la estación FMS 201 (alimentación de la base) y el diseño e implementación del control de la estación. Esta estación pertenece a la serie FMS 200 (sistema didáctico modular de ensamblaje flexible) distribuido por la empresa SMC. Se dispone uno en el laboratorio de investigación del departamento de Ingeniería de Sistemas y Automática de la Escuela Superior de Ingeniería de Bilbao (EHU/UPV). Para el desarrollo e implementación del modelo se usará la herramienta informática Automation Studio. Para el control del modelo se usará el PLC. Para el intercambio de información entre modelo y controlador se utilizará la comunicación OPC Para el control de la estación se usa un PLC S7-300 de la marca SIEMENS. Se finaliza el documento realizando las pruebas de validación del modelo desarrollado, ejecutándose el programa de control en el PLC y corriendo el modelo desarrollado en el PC.

Estudo estrutural do pênis de fetos humanos normais e anencéfalos no segundo trimestre de gestação

A anecencefalia é o Defeito do Tubo Neural (DTN) mais severo em fetos humanos. Há uma demanda crescente para reposição tissular em doenças crônicas e cirurgias reconstrutoras. Tecidos fetais têm sido utilizados como substitutos para órgãos sólidos. Comparar a estrutura e morfologia do corpo cavernoso e corpo esponjoso de pênis de fetos humanos anencéfalos e de controle a fim de propor um novo modelo para estudos biológicos e transplantes teciduais. Foram estudados 11 pênis de fetos de controle de 14 a 23 Semanas Pós Concepção (SPC), e cinco pênis de fetos anencéfalos de 18 a 22 SPC. Os órgãos foram removidos e processados pelas técnicas histo e imunohistoquímicas rotineiras. A análise do tecido conjuntivo, células musculares lisas e fibras elásticas foram realizadas em lâminas dos espécimes. Os dados foram expressos em Densidade de àrea (Da) utilizando-se um software de processamento digital. As médias foram comparadas utilizando-se o Teste - T não pareado e quando aplicável, a regressão linear simples foi utilizada. Foi considerada significância estatística se p<0,05. O septo intercavernoso encontrava-se presente em todas as amostras. Não foram observadas diferenças da Da do tecido colágeno e musculatura lisa dos pênis de fetos anencéfalos quando comparados aos normais. A regressão linear simples sugere que durante o desenvolvimento humano há um aumen2to gradual do tecido colágeno (R2=0,45) e uma diminuição da musculatura lisa (R =0,62) no corpo cavernoso de ambos os grupos. A elastina encontrava-se presente apenas em fetos a partir da 20 SPC. Não houve diferença na estrutura da genitália entre fetos normais e enencéfalos. Apresença da elastina em fetos a partir da 20 SPC é um dado objetivo da manutenção da capacidade de ereção nestes grupos. A histo e imunohistoquímica sugerem que o desenvolvimento do pênis destes fetos encontra-se inalterado. Futuros estudos deverão ser realizados com o objetivo de avaliar fetos anencéfalos como um potencial grupo de doadores teciduais e um adequado modelo para estudos biológicos.

Defeitos do tubo neural causam alterações estruturais no ureter? Estudo em fetos humanos

Anencefalia é o defeito do tubo neural mais severo. A morfologia do ureter de fetos anencéfalos é desconhecida. O objetivo deste trabalho é analisar a estrutura do ureter de fetos humanos normais e anencéfalos (FHA). Nós estudamos 16 ureteres de 8 fetos sem anomalias congênitas (4 masculinos e 4 femininos) com idades entre 16 e 27 semanas pós concepção (SPC) e 14 ureteres de 7 FHA (4 masculinos e 3 femininos) com idades entre 19 e 33 SPC. Os ureteres foram dissecados e emblocados em parafina. Foram feitos cortes com 5 m e depois corados com Tricrômico de Masson, para quantificação das células de músculo liso (CML) e determinação da área da a luz do ureter, espessura e diâmetro. As amostras também foram coradas com Resorcina Fucsina de Weigert ( para observação das fibras elásticas) e Vermelho de Picro Sirius com polarização e análise imunohistoquímica das fibras do colágeno tipo III. Os dados da quantificação do músculo foram expressos em densidade volumétrica (Vv-%). As imagens foram capturadas com microscópio Olympus BX51 e câmera Olympus DP70. A análise morfológica da área do lúmen, espessura e diâmetro foram feitas usando o software Image J. As médias foram comparadas usando o teste t não pareado (p<0.05). O epitélio do ureter estava bem preservado em ambos os grupos, e não houve diferença entre os grupos. Não observamos fibras do sistema elástico em qualquer ureter analisados. Concentração de músculo liso (Vv) não diferiram significativamente (p = 0,4413) em FHA (12% 1,628) e grupo controle (13,51% 0,9231). A área de luz ureteral foi significativamente menor (p = 0,0341) em FHA (6365μm 1,282), quando comparado ao grupo controle (20,170 5,480 mM). O diâmetro ureteral foi significativamente menor (p = 0,0294) em FHA (166.7μm 10,99) quando comparado ao grupo controle (240 26,6 mM). A espessura ureteral foi significativamente menor (p = 0,0448) em FHA (30.57μm 2,034), quando comparado ao grupo controle (7,453 47.49μm). Colágeno tipo III foi observado em maior quantidade nos ureteres da FHA. Alterações estruturais ureterais nos fetos anencéfalos foram significativas em nosso estudo. O ureter de fetos com anencefalia mostraram mais concentração de colágeno tipo III, menor diâmetro, área e espessura. Nervos ureterais em FHA podem ser modificados devido a lesão cerebral com consequente dano no controle dos nervos ureterais. Isto pode levar a alterações estruturais no ureter de fetos anencéfalos.

Análise estrutural dos apêndices testiculares em pacientes com criptorquia

O objetivo deste trabalho é estudar a incidência, a estrutura dos apêndices testiculares (AT) em pacientes com criptorquia, comparando a sua incidência com as anomalias epididimárias e a patência do processo vaginal. Estudamos 55 pacientes (72 testículos) portadores de criptorquia e 8 testículos como controle (6 hidroceles e 2 torções). Analisamos as relações entre o testículo e o epidídimo, a patência do processo vaginal e a incidência e histologia dos ATs. Fibras musculares lisas (SMC), tecido conectivo (CT) e fibras do sistema elástico (ESF) foram estudados por métodos imuno-histoquímicos. Dos 72 testículos com criptorquia 20 (27.77%) apresentavam anomalias epididimárias, 41(56.9%) tinham processo vaginal patente e 44 (61.1%) tinham apêndices testiculares. Dos 44 testículos portadores de criptorquia com apêndices, 30 (68.18%) apresentavam o processo vaginal patente e 11 (25%) apresentavam anomalias epididimárias. O epitélio não apresentou alteração aparente nos apêndices de pacientes com criptorquia e no grupo controle. Análise estereológica documentou a prevalência de ESF (média de 1.48%); prevalência de vasos (média de 10,11%) e uma diminuição (p=0.14) da SMC nos AT de pacientes com criptorquia (média = 4.93%). O colágeno III prevaleceu nos AT de pacientes com criptorquia. Não houve alteração na incidência de anomalias anatômicas associadas aos testículos portadores de AT. Os apêndices testiculares apresentaram uma alteração estrutural significativa nos pacientes com criptorquia, o que indica que os AT apresentam uma remodelação estrutural significativa nos pacientes com criptorquia.

谷子体细胞无性系变异和抗除草剂基因转化研究

谷子是我国北方具有区域重要性的禾谷类粮食作物。谷子的体细胞无性系变异和外源基因转化相对其它作物研究较少。本研究利用谷子生产的育种中应用的多个优良品种为材料，分析了谷子体细无性系变异发生的影响因素、变异性和频率、DNA分子水平变异和育种应用等问题;采用基因枪法和花粉管通道法，进行了谷子抗除草剂基因转化研究。 主要结果包括： 1. 通过几种外植体的愈伤组织诱导分析,找到了小花分化期前后的谷子幼穗是愈伤组织诱导的最好外植体.提出谷子愈伤组织可按生长状态和结构划分为质密型、松软型和松散型三种基本类型的观点。前两种为胚性愈伤组织并可相互转换，松软型愈伤组织生长状态稳定，可塑性好，是继代培养和因基化的首选类型。供试品种中豫谷1号、高39、郑407和矮宁黄为易培养品种，矮88、豫谷2号、系238、冀14号、C445和青丰谷为相对难培养品种。这些结果为谷子组织培养和生物技术操作提供了基础资料。 2. 首次对多个谷子品种较大群体的无性系变异进行了分析。结果表明，以R_2株系为单位的谷子体细胞无性系表现型变异频率平均为13.0%，不同基因型的变幅为4.3～32.9%;变异涉及株高、抽穗期、穗粒重、出谷率、叶鞘色、育性、抗病性、米色、穗型等多个性状，多数变异为株高和抽穗期等数量性状，少数为矮秆等质量性状：变异的性状多数能在R_3稳定并遗传给后代。从谷子体细胞无性系变异中选出了一批农艺性状得到改良的新品系，其中系103已进入省区域试验，并提供给多家育种单位作为亲本应用。 3. 将RAPD分析技术引入谷子体细胞无性系变异研究。豫谷2号无性系的RAPD多态性变化既有亲本带的缺失，也有新带的产生。用RAPD多态性变化的SMC值度量无性系同亲本相比DNA水平变异的大小，表现型发生变异的无性系,其SMC值分别为0.905～1.0;表现型未发生变异的无性系，RAPD多态性也可能发生变化，其SMC值分布为0.953～1.0。 4. 通过Gus基因瞬时表达单位数的比较，优化了JQ－700基因枪转化谷子松型愈伤组织的操作参数：质粒DNA用量3μg/mg钨粉，CaCl_2农度1.5M，亚精胺浓度40mM，样品室高度7cm，粗弹头为微弹载体，每皿愈伤组织用量1～2g，每次轰击钨粉用量50μg，轰击前4小时和轰击后16～20小时，用含蔗糖150g/l的高渗培养基处理。利用该技术体系，以bar基因为目的基因转化豫谷2号愈伤组织。经选择培养和植株再生，首次获得了抗0.1% bialaphos的正常可育植株，经PCR和Southern blot分析，bar基因已整合到转化体的基因组中，为创造抗除草剂的谷子新种质提供了材料和技术基础。 5. 研究了花粉管通道法转化和花粉介导的基因枪转化谷子的可行性。花粉管通道法转化后代中，获得了抗0.1% bialaphos的抗性植株，经X-gluc组织化学检测，抗性植株叶片的Gus反应为阳性。初步说明该植株可能为转化体，在谷子上为花粉管通道法转化的可行性提供了佐证。花粉介导的基因枪转化未获得转化体。 本文对体细胞无性系变异形成的原因和应用、无性系变异的分子生物学分析、以及谷子的外源基因转化方法等问题进行了讨论。