A low-order model investigation of the analysis of gravity waves in the ensemble Kalman filter.

The behavior of the ensemble Kalman filter (EnKF) is examined in the context of a model that exhibits a nonlinear chaotic (slow) vortical mode coupled to a linear (fast) gravity wave of a given amplitude and frequency. It is shown that accurate recovery of both modes is enhanced when covariances between fast and slow normal-mode variables (which reflect the slaving relations inherent in balanced dynamics) are modeled correctly. More ensemble members are needed to recover the fast, linear gravity wave than the slow, vortical motion. Although the EnKF tends to diverge in the analysis of the gravity wave, the filter divergence is stable and does not lead to a great loss of accuracy. Consequently, provided the ensemble is large enough and observations are made that reflect both time scales, the EnKF is able to recover both time scales more accurately than optimal interpolation (OI), which uses a static error covariance matrix. For OI it is also found to be problematic to observe the state at a frequency that is a subharmonic of the gravity wave frequency, a problem that is in part overcome by the EnKF.However, error in themodeled gravity wave parameters can be detrimental to the performance of the EnKF and remove its implied advantages, suggesting that a modified algorithm or a method for accounting for model error is needed.

Ensemble transform Kalman-Bucy filters

Two recent works have adapted the Kalman–Bucy filter into an ensemble setting. In the first formulation, the ensemble of perturbations is updated by the solution of an ordinary differential equation (ODE) in pseudo-time, while the mean is updated as in the standard Kalman filter. In the second formulation, the full ensemble is updated in the analysis step as the solution of single set of ODEs in pseudo-time. Neither requires matrix inversions except for the frequently diagonal observation error covariance. We analyse the behaviour of the ODEs involved in these formulations. We demonstrate that they stiffen for large magnitudes of the ratio of background error to observational error variance, and that using the integration scheme proposed in both formulations can lead to failure. A numerical integration scheme that is both stable and is not computationally expensive is proposed. We develop transform-based alternatives for these Bucy-type approaches so that the integrations are computed in ensemble space where the variables are weights (of dimension equal to the ensemble size) rather than model variables. Finally, the performance of our ensemble transform Kalman–Bucy implementations is evaluated using three models: the 3-variable Lorenz 1963 model, the 40-variable Lorenz 1996 model, and a medium complexity atmospheric general circulation model known as SPEEDY. The results from all three models are encouraging and warrant further exploration of these assimilation techniques.

Estimating correlated observation error statistics using an ensemble transform Kalman filter

For certain observing types, such as those that are remotely sensed, the observation errors are correlated and these correlations are state- and time-dependent. In this work, we develop a method for diagnosing and incorporating spatially correlated and time-dependent observation error in an ensemble data assimilation system. The method combines an ensemble transform Kalman filter with a method that uses statistical averages of background and analysis innovations to provide an estimate of the observation error covariance matrix. To evaluate the performance of the method, we perform identical twin experiments using the Lorenz ’96 and Kuramoto-Sivashinsky models. Using our approach, a good approximation to the true observation error covariance can be recovered in cases where the initial estimate of the error covariance is incorrect. Spatial observation error covariances where the length scale of the true covariance changes slowly in time can also be captured. We find that using the estimated correlated observation error in the assimilation improves the analysis.

An Ensemble Kalman Smoother for Nonlinear Dynamics

It is for mally proved that the general smoother for nonlinear dynamics can be for mulated as a sequential method, that is, obser vations can be assimilated sequentially during a for ward integration. The general filter can be derived from the smoother and it is shown that the general smoother and filter solutions at the final time become identical, as is expected from linear theor y. Then, a new smoother algorithm based on ensemble statistics is presented and examined in an example with the Lorenz equations. The new smoother can be computed as a sequential algorithm using only for ward-in-time model integrations. It bears a strong resemblance with the ensemble Kalman filter . The difference is that ever y time a new dataset is available during the for ward integration, an analysis is computed for all previous times up to this time. Thus, the first guess for the smoother is the ensemble Kalman filter solution, and the smoother estimate provides an improvement of this, as one would expect a smoother to do. The method is demonstrated in this paper in an intercomparison with the ensemble Kalman filter and the ensemble smoother introduced by van Leeuwen and Evensen, and it is shown to be superior in an application with the Lorenz equations. Finally , a discussion is given regarding the properties of the analysis schemes when strongly non-Gaussian distributions are used. It is shown that in these cases more sophisticated analysis schemes based on Bayesian statistics must be used.

Analysis Scheme in the Ensemble Kalman Filter

This paper discusses an important issue related to the implementation and interpretation of the analysis scheme in the ensemble Kalman filter . I t i s shown that the obser vations must be treated as random variables at the analysis steps. That is, one should add random perturbations with the correct statistics to the obser vations and generate an ensemble of obser vations that then is used in updating the ensemble of model states. T raditionally , this has not been done in previous applications of the ensemble Kalman filter and, as will be shown, this has resulted in an updated ensemble with a variance that is too low . This simple modification of the analysis scheme results in a completely consistent approach if the covariance of the ensemble of model states is interpreted as the prediction error covariance, and there are no further requirements on the ensemble Kalman filter method, except for the use of an ensemble of sufficient size. Thus, there is a unique correspondence between the error statistics from the ensemble Kalman filter and the standard Kalman filter approach

Assimilation of Geosat Altimeter Data for the Agulhas Current Using the Ensemble Kalman Filter with a Quasigeostrophic Model

The ring-shedding process in the Agulhas Current is studied using the ensemble Kalman filter to assimilate geosat altimeter data into a two-layer quasigeostrophic ocean model. The properties of the ensemble Kalman filter are further explored with focus on the analysis scheme and the use of gridded data. The Geosat data consist of 10 fields of gridded sea-surface height anomalies separated 10 days apart that are added to a climatic mean field. This corresponds to a huge number of data values, and a data reduction scheme must be applied to increase the efficiency of the analysis procedure. Further, it is illustrated how one can resolve the rank problem occurring when a too large dataset or a small ensemble is used.

A Floating-point Extended Kalman Filter Implementation for Autonomous Mobile Robots

Localization and Mapping are two of the most important capabilities for autonomous mobile robots and have been receiving considerable attention from the scientific computing community over the last 10 years. One of the most efficient methods to address these problems is based on the use of the Extended Kalman Filter (EKF). The EKF simultaneously estimates a model of the environment (map) and the position of the robot based on odometric and exteroceptive sensor information. As this algorithm demands a considerable amount of computation, it is usually executed on high end PCs coupled to the robot. In this work we present an FPGA-based architecture for the EKF algorithm that is capable of processing two-dimensional maps containing up to 1.8 k features at real time (14 Hz), a three-fold improvement over a Pentium M 1.6 GHz, and a 13-fold improvement over an ARM920T 200 MHz. The proposed architecture also consumes only 1.3% of the Pentium and 12.3% of the ARM energy per feature.

Filtragem de imagens com preservação das bordas usando a Transformada Wavelet

A filtragem de imagens visando a redução do ruído é uma tarefa muito importante em processamento de imagens, e encontra diversas aplicações. Para que a filtração seja eficiente, ela deve atenuar apenas o ruído na imagem, sem afetar estruturas importantes, como as bordas. Há na literatura uma grande variedade de técnicas propostas para filçtragem de imagens com preservação de bordas, com as mais variadas abordagens, deentrte as quais podem ser citadas a convolução com máscaras, modelos probabilísticos, redes neurais, minimização de funcionais e equações diferenciais parciais. A transformada wavelet é uma ferramenta matemática que permite a decomposição de sinais e imagens em múltiplas resoluções. Essa decomposição é chamada de representação em wavelets, e pode ser calculada atrravés de um algorítmo piramidal baseado em convoluções com filtros passa-bandas e passa-baixas. Com essa transformada, as bordas podem ser calculadas em múltiplas resoluções. Além disso, como filtros passa-baixas são utilizados na decomposição, a atenuação do ruído é um processo intrínseco à transformada. Várias técnicas baseadas na transformada wavelet têm sido propostas nos últimos anos, com resultados promissores. Essas técnicas exploram várias características da transformada wavelet, tais como a magnitude de coeficientes e sua evolução ao longo das escalas. Neste trabalho, essas características da transformada wavelet são exploradas para a obtenção de novas técnicas de filtragem com preservação das bordas.

Um assistente de feedback para o serviço de filtragem do software direto

Este trabalho descreve a especificação e implementação do protótipo Assistente de Feedback que ajuda os usuários a ajustarem os parâmetros do serviço de filtragem de mensagens vindas do correio eletrônico de sistemas como o Direto. O Assistente de Feedback é instalado no computador do usuário do Direto para monitorar suas preferências representadas pelas ações aplicadas nas mensagens do correio eletrônico. O trabalho apresenta, ainda, uma revisão bibliográfica sobre os conceitos gerais de probabilidades, redes Bayesianas e classificadores. Procura-se descrever as características gerais dos classificadores, em especial o Naive Bayes, sua lógica e seu desempenho comparado a outros classificadores. São abordados, também, conceitos relacionados ao modelo de perfil de usuário e o ambiente Direto. O Naive Bayes torna-se atraente para ser utilizado no Assistente de Feedback por apresentar bom desempenho sobre os demais classificadores e por ser eficiente na predição, quando os atributos são independentes entre si. O Assistente de Feedback utiliza um classificador Naive Bayes para predizer as preferências por intermédio das ações do usuário. Utiliza, também, pesos que representarão a satisfação do usuário para os termos extraídos do corpo da mensagem. Esses pesos são associados às ações do usuário para estimar os termos mais interessantes e menos interessantes, pelo valor de suas médias finais. Quando o usuário desejar alterar os filtros de mensagens do Direto, ele solicita ao Assistente de Feedback sugestões para possíveis exclusões dos termos menos interessantes e as possíveis inclusões dos termos mais interessantes. O protótipo é testado utilizando dois métodos de avaliação para medir o grau de precisão e o desempenho do Assistente de Feedback. Os resultados obtidos na avaliação de precisão apresentam valores satisfatórios, considerando o uso de cinco classes pelo classificador do Assistente de Feedback. Os resultados dos testes de desempenho permitem observar que, se forem utilizadas máquinas com configurações mais atualizadas, os usuários conseguirão receber sugestões com tempo de respostas mais toleráveis.

Filtragem de informações no ambiente do Direito

Os Sistemas de Recuperação de Informações (SRI) computadorizados são sistemas capazes de armazenar, recuperar e manter informações, visando minimizar o esforço humano na realização de tais atividades. A classificação de textos é um subdomínio dos sistemas de recuperação de informações que tem como objetivo classificar um texto em uma ou mais categorias existentes. Pode ser utilizada na classificação de mensagens, notícias e documentos, na filtragem de informações, na sumarização de textos, além de auxiliar profissionais na execução destas tarefas. A filtragem automatizada das mensagens de correio eletrônico é uma forma de organizar o trabalho do usuário. O volume de informações divulgadas através deste serviço torna fundamental um sistema de filtros para melhor uso do serviço. Sieve é uma proposta para padrão de linguagens de filtro de mensagens. O Direto é um software de correio, agenda e catálogo corporativos que visa atender todo Governo do Estado do Rio Grande do Sul. Foi desenvolvido na PROCERGS, Companhia de Processamento de Dados do Estado do Rio Grande do Sul, utilizando a linguagem Java e utiliza os serviços de IMAP, SMTP, LDAP e SGBD. Está disponível com licença de software livre. O objetivo deste trabalho é aplicar técnicas de filtragem no Direto. O trabalho apresenta uma solução para filtrar as mensagens de correio do Direto utilizando Sieve. Também é especificado um serviço de canais de informação que visa divulgar informações de forma eficiente no Estado. Este serviço possui vários canais, cada um destinado a divulgar informações de determinado domínio. O usuário assina os canais que desejar e pode criar filtros para melhor refinamento das informações que deseja receber. Os filtros utilizam técnicas de classificação de textos no processo de filtragem.

Neutralidade da rede, filtragem de conteúdo e interesse público

Em setembro de 2006 a modelo Daniela Cicarelli e seu namorado, Renato Malzoni Filho, ingressaram com ações judiciais contra a YouTube Inc., empresa que operava o website norte-americano YouTube (posteriormente adquirido pela Google), as Organizações Globo e o Internet Group (iG), tendo por objeto a retirada do vídeo em questão dos websites administrados pelos réus e o pedido de indenização pelos danos causados aos autores por conta de sua exibição. Por decisão do juiz Gustavo Santini Teodoro, da 23ª Vara Cível da Capital (São Paulo), os processos deveriam correr em regime de segredo de justiça, uma vez que a notoriedade da autora levaria à grande procura dos autos nas serventias cartorárias.5 Essa decisão terminou por dificultar uma análise mais aprofundada sobre os detalhes dos processos movidos pelos autores, tendo sido revelado ao público em geral apenas as decisões em seguida relatadas. O escopo do presente artigo é refletir sobre algumas das derivações mais importantes deste caso, tendo como norte os temas da neutralidade da rede, a filtragem de conteúdo e a extensão dos interesses públicos aplicáveis ao caso.

Demanda de moeda no Brasil : uma análise por meio do Filtro de Kalman

Busca-se como objetivo geral, através da estimação de uma equação de demanda por moeda de longo prazo para o Brasil, período 1980-2001, testar a sua estabilidade, o que implica analisar a evolução dos coeficientes ao longo do tempo, bem como mensurar o desempenho acerca do grau de previsibilidade de demanda futura por encaixes reais, comparando sua eficiência no prognóstico com aquelas que se obteriam utilizando técnicas de estimação Mínimos Quadrados Ordinários (MQO) e Mínimos Quadrados Ordinários Recursivos (MQOR), ambas de caráter não adaptativo. Além disso, como resultado da análise percuciente das trajetórias dos parâmetros, a política monetária exercida no período é recuperada. Os resultados rejeitam a hipótese nula de estabilidade da demanda de moeda, encontrando-se que os parâmetros apresentam flutuações importantes não ilustradas pelo procedimento MQO, tendo se destacado o período 1986-1992 como o mais instável. Como era de se esperar, nos testes de capacidade de previsão, a estimação por meio do Filtro de Kalman supera as demais técnicas, evidenciando a ocorrência de mudanças nos regimes de política.

Estimativa de provisões de IBNR utilizando espaço de estados e filtro de Kalman : um caso brasileiro

Esta dissertação pretende discutir a provisão de sinistros do tipo IBNR, bem como qual a melhor forma de estimar estas provisões. Para tanto, serão utilizados dados reais de uma grande seguradora Brasileira para um produto de seguro de um ramo Não Vida. Serão utilizados no cálculo o clássico método Chain Ladder e em contrapartida um modelo de Espaço de Estados e Filtro de Kalman, discutindo as flexibilidades, vantagens e desvantagens de se utilizar tal metodologia.