Inference in differences-in-differences with few treated groups and heteroskedasticity

Differences-in-Differences (DID) is one of the most widely used identification strategies in applied economics. However, how to draw inferences in DID models when there are few treated groups remains an open question. We show that the usual inference methods used in DID models might not perform well when there are few treated groups and errors are heteroskedastic. In particular, we show that when there is variation in the number of observations per group, inference methods designed to work when there are few treated groups tend to (under-) over-reject the null hypothesis when the treated groups are (large) small relative to the control groups. This happens because larger groups tend to have lower variance, generating heteroskedasticity in the group x time aggregate DID model. We provide evidence from Monte Carlo simulations and from placebo DID regressions with the American Community Survey (ACS) and the Current Population Survey (CPS) datasets to show that this problem is relevant even in datasets with large numbers of observations per group. We then derive an alternative inference method that provides accurate hypothesis testing in situations where there are few treated groups (or even just one) and many control groups in the presence of heteroskedasticity. Our method assumes that we can model the heteroskedasticity of a linear combination of the errors. We show that this assumption can be satisfied without imposing strong assumptions on the errors in common DID applications. With many pre-treatment periods, we show that this assumption can be relaxed. Instead, we provide an alternative inference method that relies on strict stationarity and ergodicity of the time series. Finally, we consider two recent alternatives to DID when there are many pre-treatment periods. We extend our inference methods to linear factor models when there are few treated groups. We also derive conditions under which a permutation test for the synthetic control estimator proposed by Abadie et al. (2010) is robust to heteroskedasticity and propose a modification on the test statistic that provided a better heteroskedasticity correction in our simulations.

Inference in differences-in-differences with few treated groups and heteroskedasticity

Differences-in-Differences (DID) is one of the most widely used identification strategies in applied economics. However, how to draw inferences in DID models when there are few treated groups remains an open question. We show that the usual inference methods used in DID models might not perform well when there are few treated groups and errors are heteroskedastic. In particular, we show that when there is variation in the number of observations per group, inference methods designed to work when there are few treated groups tend to (under-) over-reject the null hypothesis when the treated groups are (large) small relative to the control groups. This happens because larger groups tend to have lower variance, generating heteroskedasticity in the group x time aggregate DID model. We provide evidence from Monte Carlo simulations and from placebo DID regressions with the American Community Survey (ACS) and the Current Population Survey (CPS) datasets to show that this problem is relevant even in datasets with large numbers of observations per group. We then derive an alternative inference method that provides accurate hypothesis testing in situations where there are few treated groups (or even just one) and many control groups in the presence of heteroskedasticity. Our method assumes that we know how the heteroskedasticity is generated, which is the case when it is generated by variation in the number of observations per group. With many pre-treatment periods, we show that this assumption can be relaxed. Instead, we provide an alternative application of our method that relies on assumptions about stationarity and convergence of the moments of the time series. Finally, we consider two recent alternatives to DID when there are many pre-treatment groups. We extend our inference method to linear factor models when there are few treated groups. We also propose a permutation test for the synthetic control estimator that provided a better heteroskedasticity correction in our simulations than the test suggested by Abadie et al. (2010).

Higher salaries, more teaching, better performance? The effects of the introduction of the minimum salary for teachers in Brazil

De acordo com a literatura empírica, há fortes evidências de que, após o controle de características socioeconômicas dos alunos, a qualidade dos professores é o fator mais importante para explicar o desempenho do aluno em testes padronizados. No entanto, não há consenso sobre como sistemas públicos de ensino podem melhorar a qualidade dos professores. Será que o pagamento de salários mais elevados a professores da rede pública impactam a qualidade dos professores nas escolas públicas? O Governo Federal brasileiro introduziu, em 2009, piso salarial nacional para os professores de escolas públicas, provocando um perceptível aumento exógeno dos salários dos professores municipais. O principal objetivo desta tese é avaliar os impactos de curto prazo da elevação linear e incondicional do salário do professor na qualidade da educação. Devido à ausência de dados secundários sobre o valor do salário-base de professores entre 2008 e 2013, tivemos que realizar um levantamento com as Secretarias Municipais de Educação para reunir informação sobre a estrutura da carreira docente e sobre os salários-bases nesse período. Com base em nossa pesquisa de campo, o primeiro capítulo investiga a conformidade dos sistemas municipais de ensino ao piso salarial nacional para professores de redes públicas. Encontramos que fatores não observáveis/observados são determinantes para explicar a variabilidade salarial verificada entre os municípios e o cumprimento da lei, o que embasa nossa estratégia de identificação com base em métodos de diferença em diferenças, combinados com pareamento com base em escore de propensão. O segundo capítulo centra-se na estimativa do impacto da elevação dos salários dos professores sobre a proficiência dos alunos de 5º ano do ensino fundamental municipal. De acordo com estes resultados, o aumento salarial incondicional não gerou uma expansão da proficiência escolar dos alunos, pelo menos no curto prazo. Embora não tenham sido detectados impactos na aprendizagem dos alunos, alguns mecanismos de transmissão do aumento salarial para melhores resultados educacionais podem já ter sido ativados. Assim, o principal objetivo do terceiro capítulo é avaliar o impacto dos aumentos de salário sobre a qualidade dos professores atuais e dos potenciais futuros professores. Avaliamos o impacto de aumentos de salário sobre o desempenho dos professores no ENADE, uma proxy de sua qualidade, e sobre a atratividade dos cursos de ensino superior associados à carreira docente. Essa atratividade é medida por meio da qualidade dos que entram nos respectivos cursos superiores, de acordo com seu desempenho no Enem. Neste último capítulo, aplicamos modelo de Tripla-Diferenças visando controlar dois tipos de potenciais fatores de confusão: (i) mudanças no desempenho dos professores (potenciais futuros professores) entre grupos de municípios, que foram submetidos ao tratamento e os que não foram tratados, que nada têm a ver com a política; e (ii) as alterações no desempenho de todos os professores (alunos) que vivem no município em que houve a elevação salarial devido à introdução da lei. As estimativas obtidas indicam que a elevação salarial gerou efeitos leves sobre a qualidade dos professores e sobre a atratividade dos cursos relacionados à carreira docente.

The impact of structured teaching methods on the quality of education

This paper estimates the impact of the use of structured methods on the quality of education of the students in primary public school in Brazil. Structure methods encompass a range of pedagogical and managerial instruments applied to the education system. In recent years, several municipalities in the State of São Paulo have contracted out private educational providers to implement these structured methods in their schooling system. Their pedagogical proposal involves structuring curriculum contents, elaboration and use of teachers and students textbooks, and training and supervision of the teachers and instructors. Using a difference in differences estimation strategy, we find that the fourth and eighth grader students in the municipalities with structured methods performed better in Portuguese and Math than students in municipalities not exposed to the methods. We find no differences in approval rates. However, a robustness check is not able to discard the possibility that unobserved municipal characteristics may affect the results.

Impacto do IOF sobre composição de dívida e investimento das empresas brasileiras

Este trabalho investiga como os controles de capitais praticados no Brasil através da imposição do Imposto sobre Operações Financeiras (IOF) sobre empréstimos externos em 2011 e 2012 afetaram decisões em âmbito financeiro empresarial. As principais questões abordadas são: As empresas brasileiras com financiamento de curto prazo em moeda estrangeira investiram menos após a imposição do IOF sobre empréstimo externo? Elas alongaram suas dívidas em moeda estrangeira, ou seja, mudaram a composição, mas não o total de dívida? Elas reduziram a dívida externa total, aumentando a dívida doméstica? Para responder a essas perguntas, foi adotado o método de diferenças-em-diferenças. Os resultados encontrados sustentam que as empresas brasileiras que tinham passivos externos de curto prazo antes da adoção do IOF não diminuíram seus investimentos significativamente mais do que as empresas que não foram diretamente afetadas por tal medida de controle, nem alteraram mais a proporção de endividamento externo sobre dívida total. Não obstante, os resultados apontam para um maior alongamento das dívidas em moeda estrangeira.

Impactos da desoneração da folha de pagamantos sobre o nível de emprego no mercado de trabalho brasileiro: um estudo a partir dos dados da RAIS

A desoneração da folha é constituída pela eliminação da contribuição previdenciária patronal incidente sobre a folha de pagamento dos funcionários e pela adoção de uma nova contribuição previdenciária sobre a receita bruta das empresas. Um dos objetivos desta mudança, listados pelo Governo Federal do Brasil no programa Brasil Maior, é reduzir os custos de produção dos setores beneficiados através da diminuição da carga tributária, contribuindo, assim, para a geração de empregos e formalização de mão de obra. O objetivo deste trabalho, portanto, é estimar o impacto desta medida sobre a geração de empregos formais e também sobre o salário médio dos trabalhadores nos primeiros setores beneficiados, que foram, principalmente, Tecnologia da Informação (e Comunicação), Couro e Calçados, Vestuário e Têxtil, Hotéis e Call Center. Para isto, aplicou-se a metodologia econométrica difference-in-differences nos dados da Relação Anual de Informações Sociais (RAIS), disponibilizados pelo Ministério do Trabalho. Os resultados sugerem principalmente que a desoneração da folha de pagamentos parece ter gerado empregos apenas para o setor Tecnologia da Informação (e Comunicação), assim como aumento do salário médio dos empregados deste setor. Outro resultado interessante é que para o setor de Call Center o impacto em termos de emprego não foi significativo, mas a lei parece ter contribuído para um aumento do salário no setor.

Descentralização no setor da saúde: um estudo sobre a adesão à gestão plena do sistema municipal

Este estudo tem como objetivo avaliar os efeitos da adesão à Gestão Plena do Sistema Municipal. Este processo começou com a instituição da Norma Operacional Básica do SUS de 1996 (NOB/SUS 01/96) e foi descontinuado em 2006 sem explicações oficiais. Os indicadores estudados foram a taxa de mortalidade, total e separada em faixas de idade, e a despesa per capita. As equações foram estimadas utilizando-se o método de difference-in-differences, através de um painel de efeitos fixos, utilizando dados anuais dos municípios brasileiros para o período de 2000 à 2006. Os resultados indicam que os aderentes na primeira metade de vigência da política (1998-2002) obtiveram uma redução de mortalidade gradual, já a partir do primeiro ano de adesão. Contudo, ao incluir os municípios que aderiram na metade final do período de vigência, não foram encontrados resultados estatisticamente relevantes, o que pode indicar uma mudança no rigor dos requisitos cobrados para aderência. Sobre as despesas, com exceção do primeiro ano após a adesão, há indícios de melhora da eficiência.

Impactos da regulamentação do pagamento mínimo de cartões de crédito no mercado brasileiro

No Brasil, até junho de 2011, cada banco emissor de cartões de crédito estipulava, por critérios próprios, o percentual mínimo da fatura que deveria ser pago pelo cliente. A partir de julho daquele mesmo ano, o Banco Central do Brasil – BACEN, estabeleceu o percentual de 15% do total da fatura, como valor de pagamento mínimo. Em vista disso, este estudo busca analisar as consequências dessa alteração na política de cartões de crédito. Do ponto de vista teórico, uma política desse tipo pode ter os seguintes efeitos: aumento da inadimplência de curto prazo, alteração do volume financiado e diferentes impactos em anchoring. Para investigar empiricamente esse efeito são utilizadas informações de fatura e pagamento destes clientes, nos momentos anteriores e posteriores à implantação da regulamentação do BACEN. Tal mudança institucional permite identificar, através do método de diferenças em diferenças, os efeitos da nova lei na inadimplência e alteração de volume financiado no curto prazo, provocados pela restrição ao crédito, e anchoring. As estimações indicam que a alteração do mínimo impactou no número de clientes em atraso, também é observada uma redução no volume financiado dos clientes que pagavam mais que 20% da fatura. Por outro lado, não são observadas variações na quantidade de clientes que pagaram mais que o mínimo exigido na regulamentação. Este resultado indica que a elevação do mínimo está positivamente correlacionada com o volume de pagamento para clientes que costumam fazer pagamentos superiores a 20% e aumenta a inadimplência no curto prazo, causada pela elevação do pagamento mínimo.

Efeito do ambiente político sobre o investimento realizado por empresas estatais

Esta pesquisa aborda a influência política sobre os investimentos feitos por empresas estatais ou State-Owned Enterprises (SOEs). Para tanto, comparou-se os dados de empresas privadas com os de SOEs. O argumento empregado nessa pesquisa é que o governo utiliza sua influência sobre as SOEs para conseguir suporte para realizar mudanças nas políticas. Portanto, espera-se que quanto maior for o potencial conflito entre Principal-Principal, maiores serão os investimentos realizados pelas SOEs (H1). O conflito entre Principal-Principal (PP) ocorre quando existe o conflito de interesses entre duas categorias de principal: acionistas controladores e acionistas minoritários. O segundo argumento refere-se ao desempenho das companhias. Nesse caso, espera-se que o desempenho seja pior nas SOEs em que o estado seja o acionista majoritário (H2). Nesse estudo, foram abordadas companhias que estão listadas no mercado de ações, inclusive empresas estatais que têm o governo como seu acionista majoritário (com participação de mais de 50% no capital acionário). A base de dados utilizada neste estudo foi construída a partir de dados secundários na qual, após tratamento, é composta de 96.379 observações de empresas de 41 países entre os anos de 2002 e 2011. Esta pesquisa faz uso de um quase-experimento utilizando a técnica de diferença em diferença (Difference-in-Differences). O Quase-experimento ocorre quando um evento exógeno afeta a variável explicativa. Os resultados confirmaram a hipótese H1, porém não confirmaram a hipótese H2. Diante da análise dos resultados, este estudo sugere que os políticos usam a sua influência sobre as empresas em que o governo é o acionista majoritário com objetivo de obter ganhos políticos/privados.

Labor rights, formality and spillovers: evidence from Brazil

Nós analisamos o efeito da emenda constitucional 72/13 no Brasil, que igualou direitos trabalhistas de empregadas domésticas a aqueles de outros empregados. Mostramos que, após a legislação, uma considerável cobertura midiática e um interesse público intensificado aumentou o conhecimento geral de direitos trabalhistas de empregadas domésticas. Como consequência, o não-seguimento de legislações trabalhistas no setor de serviços domésticos ficou mais difícil. Ao mesmo tempo, a necessidade de regulamentar adicionalmente a emenda fez com que custos trabalhistas ficassem praticamente inalterados. Usando uma abordagem de diferença-em-diferenças que compara ocupações selecionadas ao longo do tempo, mostramos que a emenda -- e a discussão que ela causou -- levou a um aumento na formalização e nos salários de empregados domésticos. Então, usando a heterogeneidade do impacto da emenda em grupos demográficos, nossos resultados mostram que emprego doméstico foi reduzido e que mulheres pouco qualificadas saíram força de trabalho e foram para empregos de menor qualidade. Testes de placebo e análises de robustez indicam que nossos resultados não são explicados por diversas interpretações alternativas.

Revisiting the synthetic control estimator

The synthetic control (SC) method has been recently proposed as an alternative to estimate treatment effects in comparative case studies. The SC relies on the assumption that there is a weighted average of the control units that reconstruct the potential outcome of the treated unit in the absence of treatment. If these weights were known, then one could estimate the counterfactual for the treated unit using this weighted average. With these weights, the SC would provide an unbiased estimator for the treatment effect even if selection into treatment is correlated with the unobserved heterogeneity. In this paper, we revisit the SC method in a linear factor model where the SC weights are considered nuisance parameters that are estimated to construct the SC estimator. We show that, when the number of control units is fixed, the estimated SC weights will generally not converge to the weights that reconstruct the factor loadings of the treated unit, even when the number of pre-intervention periods goes to infinity. As a consequence, the SC estimator will be asymptotically biased if treatment assignment is correlated with the unobserved heterogeneity. The asymptotic bias only vanishes when the variance of the idiosyncratic error goes to zero. We suggest a slight modification in the SC method that guarantees that the SC estimator is asymptotically unbiased and has a lower asymptotic variance than the difference-in-differences (DID) estimator when the DID identification assumption is satisfied. If the DID assumption is not satisfied, then both estimators would be asymptotically biased, and it would not be possible to rank them in terms of their asymptotic bias.

Knowledge effect on firm performance in manufacturing and service firms

This thesis seeks to examine the difference between manufacturing and service firms with respect to the effects of knowledge on performance, and the influence of market turbulence in this relationship. Empirical data, resulting from a survey, was collected from more than 1,206 firms, involving several sectors. Two samples were analyzed, one with 334 manufacturing and other with 509 service firms. The findings indicate no significant difference in the importance of knowledge on performance between these sectors in the absence of market turbulence: knowledge development (KD) has a stronger effect than culture of competitiveness (CC) on firm performance. However, under market turbulence, manufacturers differ from service providers. The positive effect of KD is enhanced, while the positive effect of CC remains the same for manufacturing firms. On the other hand, the positive effect of KD is diminished, while the positive effect of CC is enhanced for service firms. This supports the argument concerning differences in the nature of manufacturing and service industries. From a managerial point of view, results confirm the importance of knowledge, irrespective of firm sector or market turbulence. However, while industrial firms should center efforts on KD, service firms must find a balance where knowledge development (e.g. norms, processes, routines) does not impair their culture of competitiveness (e.g. learning, innovation, action). The thesis contributes to existing literature by proposing that: (1) the positive effect of knowledge on performance is confirmed; (2) under turbulent markets manufacturing and service firms have different responses concerning the influence of knowledge on performance; (3) a multidimensional performance construct based on cost, profitability, and growth is an interesting way to evaluate firm sustained competitive advantage, rather than one-dimensional constructs; (4) the CC x KD interaction, found relevant for supply chains in previous studies, is not supported for firms; (5) differences in unit of analysis, e.g. from supply chains to firms, result in different effects of KD and CC on firm performance; (6) existing scales can be improved with the addition of more diverse indicators, capturing a wider range of concepts (e.g. information transfer measurement); and (7) results from previous studies are supported for Brazilian firms, contributing for theory generalization.