High-breakdown linear discriminant analysis

The classification rules of linear discriminant analysis are defined by the true mean vectors and the common covariance matrix of the populations from which the data come. Because these true parameters are generally unknown, they are commonly estimated by the sample mean vector and covariance matrix of the data in a training sample randomly drawn from each population. However, these sample statistics are notoriously susceptible to contamination by outliers, a problem compounded by the fact that the outliers may be invisible to conventional diagnostics. High-breakdown estimation is a procedure designed to remove this cause for concern by producing estimates that are immune to serious distortion by a minority of outliers, regardless of their severity. In this article we motivate and develop a high-breakdown criterion for linear discriminant analysis and give an algorithm for its implementation. The procedure is intended to supplement rather than replace the usual sample-moment methodology of discriminant analysis either by providing indications that the dataset is not seriously affected by outliers (supporting the usual analysis) or by identifying apparently aberrant points and giving resistant estimators that are not affected by them.

News from compositions, the R package

The R-package “compositions”is a tool for advanced compositional analysis. Its basic functionality has seen some conceptual improvement, containing now some facilities to work with and represent ilr bases built from balances, and an elaborated subsys- tem for dealing with several kinds of irregular data: (rounded or structural) zeroes, incomplete observations and outliers. The general approach to these irregularities is based on subcompositions: for an irregular datum, one can distinguish a “regular” sub- composition (where all parts are actually observed and the datum behaves typically) and a “problematic” subcomposition (with those unobserved, zero or rounded parts, or else where the datum shows an erratic or atypical behaviour). Systematic classification schemes are proposed for both outliers and missing values (including zeros) focusing on the nature of irregularities in the datum subcomposition(s). To compute statistics with values missing at random and structural zeros, a projection approach is implemented: a given datum contributes to the estimation of the desired parameters only on the subcompositon where it was observed. For data sets with values below the detection limit, two different approaches are provided: the well-known imputation technique, and also the projection approach. To compute statistics in the presence of outliers, robust statistics are adapted to the characteristics of compositional data, based on the minimum covariance determinant approach. The outlier classification is based on four different models of outlier occur- rence and Monte-Carlo-based tests for their characterization. Furthermore the package provides special plots helping to understand the nature of outliers in the dataset. Keywords: coda-dendrogram, lost values, MAR, missing data, MCD estimator, robustness, rounded zeros

Seguro contra risco de downside de uma carteira : uma proposta híbrida frequentista-Bayesiana com uso de derivativos

Seguros de carteiras proporcionam aos gestores limitar o risco de downside sem renunciar a movimentos de upside. Nesta dissertação, propomos um arcabouço de otimização de seguro de carteira a partir de um modelo híbrido frequentista-Bayesiano com uso de derivativos. Obtemos a distribuição conjunta de retornos regulares através de uma abordagem estatística frequentista, uma vez removidos os outliers da amostra. A distribuição conjunta dos retornos extremos, por sua vez, é modelada através de Redes Bayesianas, cuja topologia contempla os eventos que o gestor considera crítico ao desempenho da carteira. Unindo as distribuições de retornos regulares e extremos, simulamos cenários futuros para a carteira. O seguro é, então, otimizado através do algoritmo Evolução Diferencial. Mostramos uma aplicação passo a passo para uma carteira comprada em ações do Ibovespa, utilizando dados de mercado entre 2008 e 2012.

News from compositions, the R package

The R-package “compositions”is a tool for advanced compositional analysis. Its basicfunctionality has seen some conceptual improvement, containing now some facilitiesto work with and represent ilr bases built from balances, and an elaborated subsys-tem for dealing with several kinds of irregular data: (rounded or structural) zeroes,incomplete observations and outliers. The general approach to these irregularities isbased on subcompositions: for an irregular datum, one can distinguish a “regular” sub-composition (where all parts are actually observed and the datum behaves typically)and a “problematic” subcomposition (with those unobserved, zero or rounded parts, orelse where the datum shows an erratic or atypical behaviour). Systematic classificationschemes are proposed for both outliers and missing values (including zeros) focusing onthe nature of irregularities in the datum subcomposition(s).To compute statistics with values missing at random and structural zeros, a projectionapproach is implemented: a given datum contributes to the estimation of the desiredparameters only on the subcompositon where it was observed. For data sets withvalues below the detection limit, two different approaches are provided: the well-knownimputation technique, and also the projection approach.To compute statistics in the presence of outliers, robust statistics are adapted to thecharacteristics of compositional data, based on the minimum covariance determinantapproach. The outlier classification is based on four different models of outlier occur-rence and Monte-Carlo-based tests for their characterization. Furthermore the packageprovides special plots helping to understand the nature of outliers in the dataset.Keywords: coda-dendrogram, lost values, MAR, missing data, MCD estimator,robustness, rounded zeros

Linear minimum mean square filter for discrete-time linear systems with Markov jumps and multiplicative noises

In this paper we obtain the linear minimum mean square estimator (LMMSE) for discrete-time linear systems subject to state and measurement multiplicative noises and Markov jumps on the parameters. It is assumed that the Markov chain is not available. By using geometric arguments we obtain a Kalman type filter conveniently implementable in a recurrence form. The stationary case is also studied and a proof for the convergence of the error covariance matrix of the LMMSE to a stationary value under the assumption of mean square stability of the system and ergodicity of the associated Markov chain is obtained. It is shown that there exists a unique positive semi-definite solution for the stationary Riccati-like filter equation and, moreover, this solution is the limit of the error covariance matrix of the LMMSE. The advantage of this scheme is that it is very easy to implement and all calculations can be performed offline. (c) 2011 Elsevier Ltd. All rights reserved.

A linear CDMA detector based on minimum variance distortionless response (MVDR)

A bit-level processing (BLP) based linear CDMA detector is derived following the principle of minimum variance distortionless response (MVDR). The combining taps for the MVDR detector are determined from (1) the covariance matrix of the matched filter output, and (2) the corresponding row (or column) of the user correlation matrix. Due to the interference suppression capability of MVDR and the fact that no inversion of the user correlation matrix is involved, the influence of the synchronisation errors is greatly reduced. The detector performance is demonstrated via computer simulations (both synchronisation errors and intercell interference are considered).

Higher salaries, more teaching, better performance? The effects of the introduction of the minimum salary for teachers in Brazil

De acordo com a literatura empírica, há fortes evidências de que, após o controle de características socioeconômicas dos alunos, a qualidade dos professores é o fator mais importante para explicar o desempenho do aluno em testes padronizados. No entanto, não há consenso sobre como sistemas públicos de ensino podem melhorar a qualidade dos professores. Será que o pagamento de salários mais elevados a professores da rede pública impactam a qualidade dos professores nas escolas públicas? O Governo Federal brasileiro introduziu, em 2009, piso salarial nacional para os professores de escolas públicas, provocando um perceptível aumento exógeno dos salários dos professores municipais. O principal objetivo desta tese é avaliar os impactos de curto prazo da elevação linear e incondicional do salário do professor na qualidade da educação. Devido à ausência de dados secundários sobre o valor do salário-base de professores entre 2008 e 2013, tivemos que realizar um levantamento com as Secretarias Municipais de Educação para reunir informação sobre a estrutura da carreira docente e sobre os salários-bases nesse período. Com base em nossa pesquisa de campo, o primeiro capítulo investiga a conformidade dos sistemas municipais de ensino ao piso salarial nacional para professores de redes públicas. Encontramos que fatores não observáveis/observados são determinantes para explicar a variabilidade salarial verificada entre os municípios e o cumprimento da lei, o que embasa nossa estratégia de identificação com base em métodos de diferença em diferenças, combinados com pareamento com base em escore de propensão. O segundo capítulo centra-se na estimativa do impacto da elevação dos salários dos professores sobre a proficiência dos alunos de 5º ano do ensino fundamental municipal. De acordo com estes resultados, o aumento salarial incondicional não gerou uma expansão da proficiência escolar dos alunos, pelo menos no curto prazo. Embora não tenham sido detectados impactos na aprendizagem dos alunos, alguns mecanismos de transmissão do aumento salarial para melhores resultados educacionais podem já ter sido ativados. Assim, o principal objetivo do terceiro capítulo é avaliar o impacto dos aumentos de salário sobre a qualidade dos professores atuais e dos potenciais futuros professores. Avaliamos o impacto de aumentos de salário sobre o desempenho dos professores no ENADE, uma proxy de sua qualidade, e sobre a atratividade dos cursos de ensino superior associados à carreira docente. Essa atratividade é medida por meio da qualidade dos que entram nos respectivos cursos superiores, de acordo com seu desempenho no Enem. Neste último capítulo, aplicamos modelo de Tripla-Diferenças visando controlar dois tipos de potenciais fatores de confusão: (i) mudanças no desempenho dos professores (potenciais futuros professores) entre grupos de municípios, que foram submetidos ao tratamento e os que não foram tratados, que nada têm a ver com a política; e (ii) as alterações no desempenho de todos os professores (alunos) que vivem no município em que houve a elevação salarial devido à introdução da lei. As estimativas obtidas indicam que a elevação salarial gerou efeitos leves sobre a qualidade dos professores e sobre a atratividade dos cursos relacionados à carreira docente.