Exames curriculares e resultados educacionais: uma análise do exame nacional do ensino médio

Esta dissertação avalia os efeitos do Exame Nacional do Ensino Médio (ENEM) sobre o ensino médio brasileiro. Esta avaliação baseia-se na teoria de que exames curriculares com a qualidade de gerar conseqüências diretas sobre os alunos, como no caso do ENEM, são capazes de influenciar positivamente o aprendizado dos alunos por dois canais: por aumento de seu esforço e pela pressão que exercem sobre professores e diretores. O presente trabalho avalia especificamente o segundo canal, sobre o qual o ENEM deve atuar por meio da divulgação ao público das notas médias por escola em todo o país. Neste sentido, estima-se o efeito da divulgação das notas do ENEM sobre os seguintes resultados educacionais: proficiência em Matemática e Língua Portuguesa no Saeb, alocação de insumos escolares e comportamento dos professores. Para tanto, dois métodos são propostos: i) diferenças em diferenças, utilizando dados dos Saeb de 2005 – um ano antes do início da divulgação – e 2007 – um ano após a primeira publicação – e ii) regressão com descontinuidade, explorando o fato de haver uma regra estrita para entrada da escola na divulgação – ter ao menos 10 concluintes do ensino médio participando do ENEM. Os resultados mostram que o fato uma escola ter seu resultado médio no ENEM divulgado não parece influenciar o desempenho de seus alunos nem a quantidade de seus insumos escolares, por nenhum dos métodos propostos. O método de diferenças em diferenças aponta ainda que os professores de escolas submetidas ao tratamento dessa divulgação parecem ter maior enfoque em atividades voltadas a resolução de exercícios e fixação de regras gramaticais, reação que é interpretada por parte da literatura como adversa. Estes últimos resultados, no entanto, podem estar refletindo apenas tendências temporais preexistentes e não um efeito de tratamento legítimo. Conclui-se então que o ENEM não deve estar servindo como indutor de melhorias dos resultados educacionais via pressão dos alunos do ensino médio. Porém, é possível levantar a hipótese de que este tipo de efeito ainda pode ser captado em prazos mais longos ou para grupos de escolas diferentes das usadas na análise.

Inference in differences-in-differences with few treated groups and heteroskedasticity

Differences-in-Differences (DID) is one of the most widely used identification strategies in applied economics. However, how to draw inferences in DID models when there are few treated groups remains an open question. We show that the usual inference methods used in DID models might not perform well when there are few treated groups and errors are heteroskedastic. In particular, we show that when there is variation in the number of observations per group, inference methods designed to work when there are few treated groups tend to (under-) over-reject the null hypothesis when the treated groups are (large) small relative to the control groups. This happens because larger groups tend to have lower variance, generating heteroskedasticity in the group x time aggregate DID model. We provide evidence from Monte Carlo simulations and from placebo DID regressions with the American Community Survey (ACS) and the Current Population Survey (CPS) datasets to show that this problem is relevant even in datasets with large numbers of observations per group. We then derive an alternative inference method that provides accurate hypothesis testing in situations where there are few treated groups (or even just one) and many control groups in the presence of heteroskedasticity. Our method assumes that we can model the heteroskedasticity of a linear combination of the errors. We show that this assumption can be satisfied without imposing strong assumptions on the errors in common DID applications. With many pre-treatment periods, we show that this assumption can be relaxed. Instead, we provide an alternative inference method that relies on strict stationarity and ergodicity of the time series. Finally, we consider two recent alternatives to DID when there are many pre-treatment periods. We extend our inference methods to linear factor models when there are few treated groups. We also derive conditions under which a permutation test for the synthetic control estimator proposed by Abadie et al. (2010) is robust to heteroskedasticity and propose a modification on the test statistic that provided a better heteroskedasticity correction in our simulations.

Inference in differences-in-differences with few treated groups and heteroskedasticity

Differences-in-Differences (DID) is one of the most widely used identification strategies in applied economics. However, how to draw inferences in DID models when there are few treated groups remains an open question. We show that the usual inference methods used in DID models might not perform well when there are few treated groups and errors are heteroskedastic. In particular, we show that when there is variation in the number of observations per group, inference methods designed to work when there are few treated groups tend to (under-) over-reject the null hypothesis when the treated groups are (large) small relative to the control groups. This happens because larger groups tend to have lower variance, generating heteroskedasticity in the group x time aggregate DID model. We provide evidence from Monte Carlo simulations and from placebo DID regressions with the American Community Survey (ACS) and the Current Population Survey (CPS) datasets to show that this problem is relevant even in datasets with large numbers of observations per group. We then derive an alternative inference method that provides accurate hypothesis testing in situations where there are few treated groups (or even just one) and many control groups in the presence of heteroskedasticity. Our method assumes that we know how the heteroskedasticity is generated, which is the case when it is generated by variation in the number of observations per group. With many pre-treatment periods, we show that this assumption can be relaxed. Instead, we provide an alternative application of our method that relies on assumptions about stationarity and convergence of the moments of the time series. Finally, we consider two recent alternatives to DID when there are many pre-treatment groups. We extend our inference method to linear factor models when there are few treated groups. We also propose a permutation test for the synthetic control estimator that provided a better heteroskedasticity correction in our simulations than the test suggested by Abadie et al. (2010).

Human resource policies in public education: empirical evidences for Brazil

Esta tese traz três exercícios empíricos sobre questões de recursos humanos em escolas públicas brasileiras, aproveitando-se de uma ampla política implantada na rede estadual de São Paulo. Esta política aumenta os salários para os professores que trabalham em escolas urbanas pobres e sua regra de alocação, baseada em um corte arbitrário em um índice socioeconômico, permite a identificação de impactos causais. Em resumo, os três artigos apontam que políticas de subsídios são capazes de, de fato, manter professores nas escolas mais pobres e este efeito, por sua vez, melhora o desempenho acadêmico dos alunos. Além disso, concluímos também que esta política também reduz o absenteísmo dos professores. No entanto, como consequência do desenho dessa política, não há evidências de que o subsídio melhora o perfil dos professores alocados nessas escolas. O primeiro artigo avalia os impactos dessa política sobre a rotatividade dos professores. Concluímos que a compensação salarial reduziu a taxa de rotatividade em 7,2 pontos percentuais, o que significa uma queda de 15% sobre a média pré-tratamento. Em um modelo em forma reduzida, encontramos também evidências de que esta política pode impactar positivamente o desempenho dos alunos. O segundo artigo analisa os impactos sobre a aprendizagem dos alunos, com foco em três possíveis mecanismos: i) a rotatividade; ii) a qualidade dos professores; iii) o aumento do salário. As estimativas mostram que o único canal através do qual esta política compensatória afeta o desempenho dos alunos é a redução da rotatividade dos professores. Ao reduzir taxa de volume de negócios em um desvio-padrão, a política reduziu a proporção de alunos de baixo desempenho em cerca de meio desvio-padrão. O terceiro artigo avalia como a diferenciação salarial criada por esta política afeta absenteísmo dos professores. Os resultados mostram que, após controlar efeitos fixos de professores e escolas, pagar um salário mais elevado (em média 26% a mais) provoca uma queda de 8-22% nas faltas dos professores. Ausências que não levam a desconto de salário, como por licenças médicas, não respondem à diferenciação salarial e o impacto é maior para os professores que recebem maior incentivo.

Cherry picking with synthetic controls

The synthetic control (SC) method has been recently proposed as an alternative method to estimate treatment e ects in comparative case studies. Abadie et al. [2010] and Abadie et al. [2015] argue that one of the advantages of the SC method is that it imposes a data-driven process to select the comparison units, providing more transparency and less discretionary power to the researcher. However, an important limitation of the SC method is that it does not provide clear guidance on the choice of predictor variables used to estimate the SC weights. We show that such lack of speci c guidances provides signi cant opportunities for the researcher to search for speci cations with statistically signi cant results, undermining one of the main advantages of the method. Considering six alternative speci cations commonly used in SC applications, we calculate in Monte Carlo simulations the probability of nding a statistically signi cant result at 5% in at least one speci cation. We nd that this probability can be as high as 13% (23% for a 10% signi cance test) when there are 12 pre-intervention periods and decay slowly with the number of pre-intervention periods. With 230 pre-intervention periods, this probability is still around 10% (18% for a 10% signi cance test). We show that the speci cation that uses the average pre-treatment outcome values to estimate the weights performed particularly bad in our simulations. However, the speci cation-searching problem remains relevant even when we do not consider this speci cation. We also show that this speci cation-searching problem is relevant in simulations with real datasets looking at placebo interventions in the Current Population Survey (CPS). In order to mitigate this problem, we propose a criterion to select among SC di erent speci cations based on the prediction error of each speci cations in placebo estimations