Time correlated anomaly detection based on inferences

Anomaly detection techniques are used to find the presence of anomalous activities in a network by comparing traffic data activities against a "normal" baseline. Although it has several advantages which include detection of "zero-day" attacks, the question surrounding absolute definition of systems deviations from its "normal" behaviour is important to reduce the number of false positives in the system. This study proposes a novel multi-agent network-based framework known as Statistical model for Correlation and Detection (SCoDe), an anomaly detection framework that looks for timecorrelated anomalies by leveraging statistical properties of a large network, monitoring the rate of events occurrence based on their intensity. SCoDe is an instantaneous learning-based anomaly detector, practically shifting away from the conventional technique of having a training phase prior to detection. It does acquire its training using the improved extension of Exponential Weighted Moving Average (EWMA) which is proposed in this study. SCoDe does not require any previous knowledge of the network traffic, or network administrators chosen reference window as normal but effectively builds upon the statistical properties from different attributes of the network traffic, to correlate undesirable deviations in order to identify abnormal patterns. The approach is generic as it can be easily modified to fit particular types of problems, with a predefined attribute, and it is highly robust because of the proposed statistical approach. The proposed framework was targeted to detect attacks that increase the number of activities on the network server, examples which include Distributed Denial of Service (DDoS) and, flood and flash-crowd events. This paper provides a mathematical foundation for SCoDe, describing the specific implementation and testing of the approach based on a network log file generated from the cyber range simulation experiment of the industrial partner of this project.

Structural damage identification based on self-fitting ARMAX model and multi-sensor data fusion

Statistical time series methods have proven to be a promising technique in structural health monitoring, since it provides a direct form of data analysis and eliminates the requirement for domain transformation. Latest research in structural health monitoring presents a number of statistical models that have been successfully used to construct quantified models of vibration response signals. Although a majority of these studies present viable results, the aspects of practical implementation, statistical model construction and decision-making procedures are often vaguely defined or omitted from presented work. In this article, a comprehensive methodology is developed, which essentially utilizes an auto-regressive moving average with exogenous input model to create quantified model estimates of experimentally acquired response signals. An iterative self-fitting algorithm is proposed to construct and fit the auto-regressive moving average with exogenous input model, which is capable of integrally finding an optimum set of auto-regressive moving average with exogenous input model parameters. After creating a dataset of quantified response signals, an unlabelled response signal can be identified according to a 'closest-fit' available in the dataset. A unique averaging method is proposed and implemented for multi-sensor data fusion to decrease the margin of error with sensors, thus increasing the reliability of global damage identification. To demonstrate the effectiveness of the developed methodology, a steel frame structure subjected to various bolt-connection damage scenarios is tested. Damage identification results from the experimental study suggest that the proposed methodology can be employed as an efficient and functional damage identification tool. © The Author(s) 2014.

Estrutura a termo de volatilidade no mercado brasileiro e aplicação para risco de mercado

Com o objetivo de analisar o impacto na Estrutura a Termos de Volatilidade (ETV) das taxas de juros utilizando dois diferentes modelos na estimação da Estrutura a Termo das Taxas de Juros (ETTJ) e a suposição em relação a estrutura heterocedástica dos erros (MQO e MQG ponderado pela duration), a técnica procede em estimar a ETV utilizando-se da volatilidade histórica por desvio padrão e pelo modelo auto-regressivo Exponentially Weighted Moving Average (EWMA). Por meio do teste de backtesting proposto por Kupiec para o VaR paramétrico obtido com as volatilidades das ETV´s estimadas, concluí-se que há uma grande diferença na aderência que dependem da combinação dos modelos utilizados para as ETV´s. Além disso, há diferenças estatisticamente significantes entre as ETV´s estimadas em todo os pontos da curva, particularmente maiores no curto prazo (até 1 ano) e nos prazos mais longos (acima de 10 anos).

O mercado de opções de petrobras é Ineficiente? Um estudo a partir da estratégia delta-gama-neutra

Este trabalho tem como objetivo verificar se o mercado de opções da Petrobras PN (PETR4) é ineficiente na forma fraca, ou seja, se as informações públicas estão ou não refletidas nos preços dos ativos. Para isso, tenta-se obter lucro sistemático por meio da estratégia Delta-Gama-Neutra que utiliza a ação preferencial e as opções de compra da empresa. Essa ação foi escolhida, uma vez que as suas opções tinham alto grau de liquidez durante todo o período estudado (01/10/2012 a 31/03/2013). Para a realização do estudo, foram consideradas as ordens de compra e venda enviadas tanto para o ativo-objeto quanto para as opções de forma a chegar ao livro de ofertas (book) real de todos os instrumentos a cada cinco minutos. A estratégia foi utilizada quando distorções entre a Volatilidade Implícita, calculada pelo modelo Black & Scholes, e a volatilidade calculada por alisamento exponencial (EWMA – Exponentially Weighted Moving Average) foram observadas. Os resultados obtidos mostraram que o mercado de opções de Petrobras não é eficiente em sua forma fraca, já que em 371 operações realizadas durante esse período, 85% delas foram lucrativas, com resultado médio de 0,49% e o tempo médio de duração de cada operação sendo pouco menor que uma hora e treze minutos.

Price discovery using a regime-sensitive cointegration approach

This work proposes a method to examine variations in the cointegration relation between preferred and common stocks in the Brazilian stock market via Markovian regime switches. It aims on contributing for future works in "pairs trading" and, more specifically, to price discovery, given that, conditional on the state, the system is assumed stationary. This implies there exists a (conditional) moving average representation from which measures of "information share" (IS) could be extracted. For identification purposes, the Markov error correction model is estimated within a Bayesian MCMC framework. Inference and capability of detecting regime changes are shown using a Montecarlo experiment. I also highlight the necessity of modeling financial effects of high frequency data for reliable inference.

Análise de vizinhança na avaliação de genótipos de cana-de-açúcar

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Performance Comparisons of EWMA Control Chart Schemes

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

The double sampling and the EWMA charts based on the sample variances

We propose a new statistic to control the covariance matrix of bivariate processes. This new statistic is based on the sample variances of the two quality characteristics, in short VMAX statistic. The points plotted on the chart correspond to the maximum of the values of these two variances. The reasons to consider the VMAX statistic instead of the generalized variance vertical bar S vertical bar is its faster detection of process changes and its better diagnostic feature; that is, with the VMAX statistic it is easier to identify the out-of-control variable. We study the double sampling (DS) and the exponentially weighted moving average (EWMA) charts based on the VMAX statistic. (C) 2008 Elsevier B.V. All rights reserved.

Structural Health Monitoring in Smart Structures Through Time Series Analysis

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)

Monitoring process mean and variability with one non-central chi-square chart

Traditionally, an (X) over bar -chart is used to control the process mean and an R-chart to control the process variance. However, these charts are not sensitive to small changes in process parameters. A good alternative to these charts is the exponentially weighted moving average (EWMA) control chart for controlling the process mean and variability, which is very effective in detecting small process disturbances. In this paper, we propose a single chart that is based on the non-central chi-square statistic, which is more effective than the joint (X) over bar and R charts in detecting assignable cause(s) that change the process mean and/or increase variability. It is also shown that the EWMA control chart based on a non-central chi-square statistic is more effective in detecting both increases and decreases in mean and/or variability.

Previsão multi-passos a frente do preço de energia elétrica de curto prazo no mercado brasileiro

A predição do preço da energia elétrica é uma questão importante para todos os participantes do mercado, para que decidam as estratégias mais adequadas e estabeleçam os contratos bilaterais que maximizem seus lucros e minimizem os seus riscos. O preço da energia tipicamente exibe sazonalidade, alta volatilidade e picos. Além disso, o preço da energia é influenciado por muitos fatores, tais como: demanda de energia, clima e preço de combustíveis. Este trabalho propõe uma nova abordagem híbrida para a predição de preços de energia no mercado de curto prazo. Tal abordagem combina os filtros autorregressivos integrados de médias móveis (ARIMA) e modelos de Redes Neurais (RNA) numa estrutura em cascata e utiliza variáveis explanatórias. Um processo em dois passos é aplicado. Na primeira etapa, as variáveis explanatórias são preditas. Na segunda etapa, os preços de energia são preditos usando os valores futuros das variáveis exploratórias. O modelo proposto considera uma predição de 12 passos (semanas) a frente e é aplicada ao mercado brasileiro, que possui características únicas de comportamento e adota o despacho centralizado baseado em custo. Os resultados mostram uma boa capacidade de predição de picos de preço e uma exatidão satisfatória de acordo com as medidas de erro e testes de perda de cauda quando comparado com técnicas tradicionais. Em caráter complementar, é proposto um modelo classificador composto de árvores de decisão e RNA, com objetivo de explicitar as regras de formação de preços e, em conjunto com o modelo preditor, atuar como uma ferramenta atrativa para mitigar os riscos da comercialização de energia.

Relações entre raios e chuvas na Amazônia Oriental

O objetivo desse estudo foi analisar a relação entre descargas elétricas, associadas à precipitação dentro de áreas selecionadas no leste da Amazônia no período de setembro de 2008 a dezembro de 2010. Os estudos foram realizados dentro de um raio de 100 km centralizados em pluviômetros instalados das localidades de Belém, Caxiuanã e Santarém. Essas áreas foram escolhidas por encontrarem-se aproximadamente na mesma latitude, e vão se distanciando do Oceano Atlântico, buscando observar a sazonalidade dos sistemas precipitantes causadores de raios e sua penetração no continente, observando as características climatológica distintas de cada área. Os dados de chuvas foram obtidos através do banco de dados da ANA, RPCH, INMET e através do Projeto LBA. Os sistemas meteorológicos de grande escala acompanhados de sistemas de escala menores, parecem atuar primeiramente em Belém e vão adentrando o continente atingindo as outras áreas de estudo. Em Belém, também foram observadas as maiores ocorrências de raios comparados com Caxiuanã e Santarém, sendo que nessas localidades, os raios antecedem as chuvas em quase todas as observações. Foram observadas as defasagens dos máximos de ocorrências de raios e chuvas de aproximadamente dois meses acompanhando principalmente o sentido norte sul de deslocamento da ZCIT e seu acoplamento com outros sistemas de escala local ou de meso escala. Foi feito um estudo de caso em Belém e Santarém onde observou-se que a ZCIT não segue o mesmo padrão de deslocamento para as duas localidades , ou seja, ela atinge primeiramente Belém e aproximadamente três dias depois o sistema atingiu a cidade de Santarém. Mesmo com essa defasagem de tempo foi visto que nas duas localidades as ocorrências de raios antecederam as chuvas. Também foi realizado um estudo pioneiro dentro das bacias do Tocantins e Xingu sobre a relação entre raios e chuva, na tentativa de se desenvolver uma alternativa de método auxiliar para prognostico dos períodos de cheias e secas dentro dessas bacias através das ocorrências de raios sobre essas áreas. Os estudos mais detalhados foram realizados nas áreas a montante das barragens de Tocantins onde se encontra a usina hidroelétrica de Tucuruí, e dentro da área da bacia do Xingu onde está sendo construída a barragem de Belo Monte. Foram utilizados dados de precipitação pluviométrica das bacias do Tocantins e Xingu obtidos através da HIDROWEB-ANA operados pela CPRM dentro de cada área de estudo. Usando filtros de médias móveis foram observados que as melhores correlações entre raios e chuvas, se encontravam dentro da bacia do Tocantins, provavelmente pela influencia da presença da barragem na bacia do Tocantins onde possibilitou respostas positivas entre a relação da cota do rio com os raios. Considerando o fato de que o período de dois anos de dados não possuem peso estatístico suficiente para estabelecer relações definitivas entre raios e precipitação, os resultados apresentados devem ser considerados como preliminares. No entanto essa metodologia pode ser aplicada para subsidiar modelos de estimativas de precipitação em localidades selecionadas e aplicações no modelamento hidrológico de bacias hidrográficas, onde dados pluviométricos ainda são escassos no leste da Amazônia.

Influência de parâmetros físicos e do processamento digital utilizado nos sinais oriundos do ensaio charpy instrumentado

Pós-graduação em Engenharia Civil - FEIS

Técnicas de análise de dados distribuídos em áreas

Pós-graduação em Biometria - IBB

Spatial statistical models that use flow and stream distance

We develop spatial statistical models for stream networks that can estimate relationships between a response variable and other covariates, make predictions at unsampled locations, and predict an average or total for a stream or a stream segment. There have been very few attempts to develop valid spatial covariance models that incorporate flow, stream distance, or both. The application of typical spatial autocovariance functions based on Euclidean distance, such as the spherical covariance model, are not valid when using stream distance. In this paper we develop a large class of valid models that incorporate flow and stream distance by using spatial moving averages. These methods integrate a moving average function, or kernel, against a white noise process. By running the moving average function upstream from a location, we develop models that use flow, and by construction they are valid models based on stream distance. We show that with proper weighting, many of the usual spatial models based on Euclidean distance have a counterpart for stream networks. Using sulfate concentrations from an example data set, the Maryland Biological Stream Survey (MBSS), we show that models using flow may be more appropriate than models that only use stream distance. For the MBSS data set, we use restricted maximum likelihood to fit a valid covariance matrix that uses flow and stream distance, and then we use this covariance matrix to estimate fixed effects and make kriging and block kriging predictions.