Uma metodologia de avaliação de impacto de políticas públicas no Brasil

Esta dissertação examina as políticas públicas brasileiras do período posterior à promulgação da Constituição Federal de 1988 pela ótica da relação Estado-Sociedade. Ela desenvolve uma metodologia compreensiva para avaliar impactos das políticas públicas no Brasil com base na influência dos princípios fundamentais da Constituição brasileira, das crenças da Sociedade, das premissas do Estado, da epistemologia sobre avaliação de impacto de políticas públicas e das relações internacionais multilaterais sobre as instituições nacionais.

Avaliação de impactos da Bolsa-Escola sobre a saúde de crianças e adolescentes: efeitos de alocação intrafamiliar

Os programas de transferência condicional de renda vem obtendo enorme aprovação na comunidade internacional. No Brasil, o Bolsa Família, criado a partir de 2003, vem sendo expandido continuamente. Entretanto, os estudos de avaliação de impacto tem mostrado que este programa, assim como seu antecessor o Bolsa Escola, não tem sido muito impactantes na promoção de maiores investimentos em educação das famílias beneficiárias. O presente estudo busca analisar se existe algum efeito do Bolsa Escola sobre uma outra dimensão do capital humano das pessoas: a saúde. Entretanto, os resultados encontrados não corroboram a existência de um efeito positivo do Bolsa Escola sobre a variável saúde de crianças e adolescentes. Nem como, a existência de efeitos diferenciados do programa sobre meninos e meninas de uma mesma família.

Subsídios para a gestão dos planos de aplicação de vinhaça (PAV): um estudo de caso da região de Piracicaba

Concomitantemente à produção de etanol, a partir da fermentação de diferentes matérias-primas (cana-de-açúcar, beterraba, milho, trigo, batata, mandioca), produz-se a vinhaça. A vinhaça da cana-de-açúcar é gerada na proporção média de 12 litros para cada litro de etanol. O Brasil é o maior produtor mundial de cana-de-açúcar (570 milhões de toneladas, em 2009) com a produção de 27 bilhões de litros/ano de etanol, no ciclo 2009/2010, basicamente para fins carburantes, e, portanto, a quantidade de vinhaça produzida é da ordem de 320 bilhões de litros/ano. Dentre as possíveis soluções para a destinação da vinhaça, tais como: concentração, tratamento químico e biológico ou produção de biomassa, é sua aplicação no solo a forma mais usual de disposição. No entanto, sua aplicação no solo não pode ser excessiva nem indiscriminada, sob pena de comprometer o ambiente e a rentabilidade agrícola e industrial da unidade sucroalcooleira. A necessidade de medidas de controle sobre a aplicação de vinhaça no solo do Estado de São Paulo, que concentra a produção de 60% do etanol produzido no Brasil, levou à elaboração da Norma Técnica P4.231, em 2005. A constatação do cumprimento dos itens desta Norma é uma das ações do agente fiscalizador, no monitoramento da geração e destinação da vinhaça pelos empreendimentos produtores de etanol. Os itens 5.7.1 e 5.7.2, desta Norma, tornam obrigatório o encaminhamento à CETESB (Companhia Ambiental do Estado de São Paulo), para fins de acompanhamento e fiscalização, até o dia 02 de abril de cada ano, o PAV (Plano de Aplicação de Vinhaça). Com o intuito de proporcionar melhor entendimento da Norma P4.231, contribuir para otimização de sua aplicabilidade e melhoria e perceber a realidade prática da aplicação da vinhaça, foram analisados PAVs protocolados na Agência Ambiental de Piracicaba, licenças concedidas, processos de licenciamento e realizadas vistorias a campo. Conclui-se que a Norma P4.231 representa um avanço no gerenciamento do uso da vinhaça no Estado de São Paulo, por disciplinar a disposição de vinhaça no solo, tornando obrigatórios: demarcações de áreas protegidas e núcleos populacionais, caracterização de solo e da vinhaça, doses máximas a serem aplicadas, estudos da geologia e hidrogeologia locais, monitoramento das águas subterrâneas, impermeabilização de tanques e dutos. Estabelece critérios a serem obedecidos por lei, e todos são condutas de boas práticas de proteção ao meio, que repercutem em maior rentabilidade agrícola e industrial. A Norma P4.231 é bem elaborada, complexa e extensa, o que a torna de difícil execução. Para facilitar sua aplicabilidade, sugere-se o estabelecimento de um cronograma de prioridades: impermeabilização dos tanques e dutos, drenos testemunha com funcionamento otimizado e boa caracterização do que está sendo aplicado, se vinhaça pura ou se misturada a águas residuárias. Das oito empresas deste estudo, apenas quatro (as maiores) vêm protocolando os PAVs com regularidade, desde 2005. As informações apresentadas foram incompletas e, em alguns casos, precárias. Mesmo com lacunas, os dados fornecidos, desde o início da obrigatoriedade do PAV, foram de utilidade para esboçar o perfil da atividade sucroalcooleira na região estudada.

O rateio de ICMS por desempenho de municípios no Ceará e seu impacto em indicadores do sistema de avaliação da educação

De todo ICMS arrecadado pelos estados brasileiros, 25% é distribuído aos municípios. Os estados são responsáveis por definir as regras de distribuição de 25% destes 25% do ICMS que é transferido aos municípios, os outros 75% seguem o critério do Valor Adicionado Fiscal. Alguns estados alteraram suas leis para que a distribuição seja realizada em função do desempenho dos municípios em algumas áreas com o intuito de incentiva-lo a melhorarem sua performance em busca de uma maior fatia do ICMS. Seguindo esta lógica está o estado do Ceará onde 100% do ICMS distribuído segundo regras estaduais é calculado a partir do desempenho dos municípios em indicadores de resultado nas áreas da educação (72%), saúde (20%) e meio ambiente (8%). Este estudo tem como objetivo estimar o efeito que a mudança da Lei de distribuição do ICMS do Ceará teve em indicadores de resultado da área da educação: IDEB e Prova Brasil. Para tanto, foi utilizado o método da Dupla Diferença por meio da construção de grupos de controle e tratamento. Assim, comparou-se a evolução do desempenho, anteriormente e posteriormente à mudança, de municípios cearenses com municípios parecidos de estados vizinhos, porém, não submetidos a mesma regra de distribuição de ICMS. De forma complementar, foram feitas outras duas analises separando os municípios do estado do Ceará entre ganhadores e perdedores de recursos de ICMS com a mudança na Lei e entre os detentores dos melhores e piores desempenhos de PIB per capita. Os resultados apontam impactos positivos no desempenho dos municípios cearenses tanto no IDEB quanto na Prova Brasil. Mesmo os municípios que perderam recursos com mudança das regras de distribuição de ICMS, melhoraram sua performance na educação. Os municípios mais pobres do estado, que apresentam desempenho pior do que os municípios mais ricos, aumentaram o desempenho reduzindo a diferença de proficiência se comparada aos municípios mais ricos. Neste sentido, há indícios de que a mudança na Lei do ICMS implementada pelo estado do Ceará gerou impactos positivos no desempenho dos municípios no IDEB e na Prova Brasil.

Avaliação de impacto de políticas de segurança: o caso das Unidades de Polícia Pacificadora (UPPs) no Rio de Janeiro

Esta tese tem como objetivo a avaliação dos primeiros impactos da política de UPPs, buscando incorporar as relações de causalidade envolvidas através de análises de diferenças-em-diferenças com diversas especificações a fim de medir os impactos sobre criminalidade, desempenho escolar,renda, desigualdade, posse de ativos e imigração.

A avaliação do impacto social de projetos em parceria com o Estado: um novo olhar sobre o “accountability” do financiamento de projetos sociais

O relatório de prestação de contas do recurso investido em projetos oriundos de parcerias entre o Estado e as organizações da sociedade civil não pode ser a única forma de avaliação da aplicação de recursos públicos. O presente trabalho analisa a necessidade de ampliar a ótica atual do accountability praticado pelo poder público, com o objetivo de incluir a avaliação do impacto social na análise dos recursos investidos em projetos de parcerias sociais público-privadas. A análise do impacto social provoca alterações substanciais no planejamento de políticas públicas abarcadas pelos projetos implementados. O diagnóstico da eficiência e a eficácia dos recursos investidos em parcerias sociais público-privadas é concretizado com a avaliação do impacto social do projeto.

Avaliação de impacto do Programa Bilhete Único Intermunicipal do Estado do Rio de Janeiro

Este trabalho objetiva verificar o impacto na renda gerado pelo programa de subsídio tarifário para passageiros de transporte intermunicipal da região metropolitana do Estado do Rio de Janeiro (RMRJ), denominado Programa Bilhete Único Intermunicipal (BUI). Para cálculo do impacto foi utilizada a arrecadação do ICMS do comércio varejista como “proxy” da renda. O método para cálculo do impacto foi o de diferença de diferença (DD) para três definições distintas de grupos de tratamento e controle, considerando o período de janeiro de 2006 a janeiro de 2010 como pré-intervenção e fevereiro de 2010 a dezembro de 2014 como pós-intervenção. A primeira definição comparou a evolução de arrecadação do tributo entre os municípios participantes do programa e os municípios fluminenses situados na região limítrofe à RMRJ como grupo de controle. O segundo exercício manteve o mesmo grupo de controle, porém utilizou apenas os municípios sujeitos à intervenção situados a mais de 30 km de distância da capital Rio de Janeiro como grupo de tratamento. Por fim, como teste de robustez, os grupos de tratamento e controle foram selecionados utilizando o método de pareamento (matching). Através de três variações do modelo de DD para cada definição, foi possível encontrar resultados de impacto positivos na arrecadação de ICMS do comércio varejista para os municípios participantes do programa, em especial para os segundo e terceiro exercícios, o que sugere um aumento na renda de seus habitantes após a introdução do Bilhete Único.

O novo federalismo social e o Rio: desenho de programas complementares de transferência de renda condicionada

Brazilian public policy entered in the so-called new social federalism through its conditional cash transfers. States and municipalities can operate together through the nationwide platform of the Bolsa Familia Program (BFP), complementing federal actions with local innovations. The state and the city of Rio de Janeiro have created programs named, respectively, Renda Melhor (RM) and Família Carioca (FC). These programs make use of the operational structure of the BFP, which facilitates locating beneficiaries, issuing cards, synchronizing payment dates and access passwords and introducing new conditionalities. The payment system of the two programs complements the estimated permanent household income up to the poverty line established, giving more to those who have less. Similar income complementation system was subsequently adopted in the BFP and the Chilean Ingreso Ético Familiar, which also follow the principle of estimation of income used in the FC and in the RM. Instead of using the declared income, the value of the Rio cash transfers are set using the extensive collection of information obtained from the Single Registry of Social Programs (Cadastro Único): physical configuration of housing, access to public services, education and work conditions for all family members, presence of vulnerable groups, disabilities, pregnant or lactating women, children and benefits from other official transfers such as the BFP. With this multitude of assets and limitations, the permanent income of each individual is estimated. The basic benefit is defined by the poverty gap and priority is given to the poorest. These subnational programs use international benchmarks as a neutral ground between different government levels and mandates. Their poverty line is the highest of the first millennium goal of the United Nations (UN): US$ 2 per person per day adjusted for the cost of living. The other poverty line of the UN, US$ 1.25, was implicitly adopted as the national extreme poverty line in 2011. The exchange of methodologies between federal entities has happened both ways. The FC began with the 575,000 individuals living in the city of Rio de Janeiro who were on the payroll of the BFP. Its system of impact evaluation benefited from bi-monthly standardized examinations. In the educational conditionalities, the two programs reward students' progress, a potential advantage for those who most need to advance. The municipal program requires greater school attendance than that of the BFP and the presence of students’ parents at the bimonthly meetings held on Saturdays. Students must achieve a grade of 8 or improve at least 20% in each exam to receive a bi-monthly premium of R$50. In early childhood, priority is given to the poor children in the program Single Administrative Register (CadÚnico) to enroll in kindergarten, preschools and complementary activities. The state program reaches more than one million people with a payment system similar to the municipal one. Moreover, it innovates in that it transfers awards given to high school students to savings accounts. The prize increases and is paid to the student, who can withdraw up to 30% annually. The total can reach R$3,800 per low-income student. The State and the city rewarded already education professionals according to student performance, now completing the chain of demand incentives on poor students and their parents. Increased performance is higher among beneficiaries and the presence of their guardians at meetings is twice compared to non beneficiaries; The Houston program, also focuses on aligning the incentives to teachers, parents and students. In general, the plan is to explore strategic complementarities, where the whole is greater than the sum of its parts. The objective is to stimulate, through targets and incentives, synergies between social actors (teachers, parents, students), between areas (education, assistance, work) and different levels of government. The cited programs sum their efforts and divide labor so as to multiply interactions and make a difference in the lives of the poor.

Três ensaios em economia da educação

Essa tese é composta por três artigos na área de Economia da Educação que buscam investigar a questão do ensino médio técnico no Brasil. O primeiro e segundo artigos se inserem na literatura de avaliação de impacto dos tipos de ensino médio realizado, o de formação geral ou técnica, sobre os resultados do mercado de trabalho. Esse é um tema cada vez mais explorado em estudos empíricos internacionais, mas que ainda merece atenção dos pesquisadores no Brasil, seja para preencher lacunas no que se refere à identificação do efeito causal dessa política, seja porque o ensino técnico profissionalizante tenha se tornado alvo de maiores investimentos públicos nos últimos anos. Dessa forma, os dois artigos têm o propósito de estimar o efeito causal das habilidades técnicas adquiridas nos cursos técnicos de nível médio sobre os salários dos trabalhadores, no entanto se diferem pela fonte de dados utilizada. No primeiro artigo são utilizados os dados da Pesquisa Nacional por Amostra de Domicílios (IBGE) de 2007 e nossa contribuição está na estratégia de identificação do efeito causal, ao resolver o problema de auto seleção com o método de duplas diferenças (DD). Diversos testes de robustez foram realizados para dar suporte ao impacto positivo e estatisticamente significante que encontramos das habilidades técnicas sobre os salários, embora este seja restrito ao subgrupo de trabalhadores com no máximo o ensino médio completo. No segundo artigo foram utilizadas duas fontes de dados ainda não exploradas para esse fim, os microdados do ENEM (Exame Nacional do Ensino Médio) entre os anos de 2004 e 2006 e os dados da RAIS (Relação Anual de Informações Sociais) de 2009 a 2012 identificados por indivíduo (CPF). Por ser possível observar as notas dos jovens ao final do ensino médio, conseguimos separar os impactos do ensino médio técnico nos salários relacionados às habilidades técnicas específicas obtidas nos cursos técnicos, daqueles relacionados às habilidades gerais dos indivíduos (cognitivas ou não). Implementamos a estratégia de duplas diferenças e mais uma vez encontramos impacto positivo sobre os salários anuais dos jovens que concluíram o ensino médio técnico. Dessa vez nossos resultados são positivos tanto para os jovens que pararam seus estudos no ensino médio como para aqueles que concluíram o ensino superior. Verificamos a existência de heterogeneidade do efeito por região do país e nos quartis de distribuição de notas médias por escola no ENEM, indicando que os efeitos são crescentes com a qualidade oferecida pelas escolas. O terceiro artigo tem por objetivo estudar o mercado de trabalho no que diz respeito às ocupações tipicamente preenchidas por profissionais com nível médio técnico e analisar os diferenciais de salários dessas ocupações. A partir das ideias desenvolvidas no estudo, almejamos que ele seja orientador de políticas que relacionem educação técnica com demandas do mercado, com a finalidade de melhorar o matching entre formação e emprego. Entre as contribuições deste artigo estão a identificação e classificação das ocupações típicas de nível médio técnico pelo diferencial de salários, a correspondência entre as ocupações e as formações técnicas, a análise da atual oferta de vagas nos cursos correspondentes e o destaque para os cursos que parecem necessitar de maiores investimentos para o suprir as necessidades de mais profissionais.

Avaliação do impacto da utilização de parceria público-privada para construção e operação de unidades municipais de educação infantil em Belo Horizonte

As Parcerias Público-Privadas (PPP) de infraestrutura escolar são cada vez mais utilizadas no mundo, entretanto as avaliações de impacto desse modelo ainda são escassas. O presente estudo contribui para essa área do conhecimento ao avaliar o impacto da utilização de PPP tanto na construção como na operação das Unidades Municipais de Educação Infantil (UMEIs) de Belo Horizonte (BH). A metodologia de pesquisa foi baseada na comparação de 46 UMEIs, sendo 27 unidades de PPP e 19 unidades construídas e operadas no modelo tradicional de contratação pública. Em relação ao impacto na construção, os principais resultados são que o tempo de obra das unidades de PPP foi 45% menor e que 79% das unidades tradicionais foram entregues fora do prazo contratado de 13 meses, enquanto que nenhuma PPP foi entregue acima deste prazo. Além disso, a PPP permitiu aumentar a escala na construção das UMEIs, superando as limitações do modelo tradicional. Dentre as principais evidências encontradas quanto ao impacto na operação, pode-se citar que os diretores de unidades de PPP afirmam ter 25% mais tempo para focar nas atividades pedagógicas, pois gastam menos tempo na gestão dos serviços não pedagógicos, e que o grau de satisfação com os serviços de manutenção das instalações físicas é substancialmente maior nessas unidades. Os resultados positivos para PPP só não apareceram em relação aos serviços de manutenção de TI. Uma limitação deste trabalho foi não conseguir realizar a comparação de custos das duas modalidades. O estudo pretende contribuir para o aprimoramento dos modelos regulatórios de PPPs em educação e para a discussão sobre o papel que pode ser desempenhado pelas PPPs na redução do déficit de infraestrutura escolar.

Theoretical and empirical essays on microeconometrics

This Master Thesis consists of one theoretical article and one empirical article on the field of Microeconometrics. The first chapter\footnote{We also thank useful suggestions by Marinho Bertanha, Gabriel Cepaluni, Brigham Frandsen, Dalia Ghanem, Ricardo Masini, Marcela Mello, Áureo de Paula, Cristine Pinto, Edson Severnini and seminar participants at São Paulo School of Economics, the California Econometrics Conference 2015 and the 37\textsuperscript{th} Brazilian Meeting of Econometrics.}, called \emph{Synthetic Control Estimator: A Generalized Inference Procedure and Confidence Sets}, contributes to the literature about inference techniques of the Synthetic Control Method. This methodology was proposed to answer questions involving counterfactuals when only one treated unit and a few control units are observed. Although this method was applied in many empirical works, the formal theory behind its inference procedure is still an open question. In order to fulfill this lacuna, we make clear the sufficient hypotheses that guarantee the adequacy of Fisher's Exact Hypothesis Testing Procedure for panel data, allowing us to test any \emph{sharp null hypothesis} and, consequently, to propose a new way to estimate Confidence Sets for the Synthetic Control Estimator by inverting a test statistic, the first confidence set when we have access only to finite sample, aggregate level data whose cross-sectional dimension may be larger than its time dimension. Moreover, we analyze the size and the power of the proposed test with a Monte Carlo experiment and find that test statistics that use the synthetic control method outperforms test statistics commonly used in the evaluation literature. We also extend our framework for the cases when we observe more than one outcome of interest (simultaneous hypothesis testing) or more than one treated unit (pooled intervention effect) and when heteroskedasticity is present. The second chapter, called \emph{Free Economic Area of Manaus: An Impact Evaluation using the Synthetic Control Method}, is an empirical article. We apply the synthetic control method for Brazilian city-level data during the 20\textsuperscript{th} Century in order to evaluate the economic impact of the Free Economic Area of Manaus (FEAM). We find that this enterprise zone had positive significant effects on Real GDP per capita and Services Total Production per capita, but it also had negative significant effects on Agriculture Total Production per capita. Our results suggest that this subsidy policy achieve its goal of promoting regional economic growth, even though it may have provoked mis-allocation of resources among economic sectors.

Debt management in Brazil: evaluation of the Real Plan and challenges ahead

The Brazilian domestic debt has posed two challenges to policy-makers: it has grown very fast and its maturity is extremely short. This has prompted fears that a default or a compulsory lengthening scheme would be imposed. Here, we analyse the domestic public debt management experience in Brazil, searching for policy prescriptions for the next few years. After briefiy reviewing the recent domestic public debt history, we decompose the large rise in federal bonded debt during 1995-2000, searching for its macroeconomic causes. The main culprits are the extremely high interest payments-which, unti11998, were caused by the weak fiscal stance and the quasi-fixed exchange-rate regime; and since 1999, by the impact ofthe currency depreciation On the dollar-indexed and the externai debt-, and the accumulation of assets of doubtful value, much of which may have to be written off in the future. Simulation exercises of the net debt path for the near future underscore the importance of a tighter fiscal stance to prevent the debt-GDP ratio from growing further. Given the need to quickly lengthen the debt maturity, our main policy advice is to foster, and rely more on, infiation-linked bonds.

The impact of property rights and its limits

The empirical evaluation of the effect of land property rights typically suffers from selection problems. The allocation of property rights across households is usually not random but based on wealth, family characteristics, political clientelism, or other mechanisms built on differences between the groups that acquire property rights and the groups that do not. In this paper, we address this selection concern exploiting a natural experiment in the allocation of property rights. Twenty years ago, a homogenous group of squatters occupied a piece of privately owned land in a suburban area of Buenos Aires, Argentina. When the Congress passed an expropriation law transferring the land from the former owners to the squatters, some of the former owners surrendered the land (and received a compensation), while others decide to sue in the slow Argentine courts. These different decisions by the former owners generated an allocation of property rights that is exogenous to the characteristics of the squatters. We take advantage of this natural experiment to evaluate the effect of the allocation of urban land property rights. Our preliminary results show significant effects on housing investment, household size, and school attrition. Contradicting De Soto's hypotheses, we found nonsignificant effects on labor income and access to credit markets.