Boa educação na era da mensuração

Neste artigo, defendo a necessidade de se reconectar com a questão da finalidade na educação, principalmente à luz da tendência recente de focalizar as discussões na área quase exclusivamente na mensuração e na comparação de resultados educacionais. Primeiramente, argumento por que a questão da finalidade deve sempre ter um lugar na discussão educacional. Depois, exploro alguns motivos pelos quais essa questão parece ter desaparecido da agenda educacional. A parte central do artigo é uma proposta para se tratar da questão da finalidade na educação - ou seja, a que diz a respeito ao que constitui uma boa educação - de uma forma sistemática. A questão da finalidade é complexa e, ao deliberar sobre ela, devemos fazer uma distinção entre as três funções da educação a que me refiro: qualificação, socialização e subjetivação. Na parte final do artigo, dou exemplos de como essa proposta pode ajudar a fazer perguntas mais precisas sobre a finalidade e a orientação dos processos e práticas educacionais.

A educação brasileira está melhorando? Evidências do PISA e SAEB

Neste texto medimos as mudanças das pontuações em matemática e leitura dos alunos brasileiros favorecidos e desfavorecidos no Programa Internacional de Avaliação de Alunos - Pisa - entre 2000 e 2012 e no Sistema de Avaliação da Educação Básica - Saeb - no período de 1995 a 2013, a fim de extrair algumas conclusões provisórias em relação à variação da efetividade do ensino básico brasileiro (1ª a 8ª/9ª séries). Nossos achados mostram que os ganhos no teste de matemática do Pisa são muito maiores do que no teste de leitura. Os ganhos (ou sua ausência) entre 1999 e 2013 no teste do Saeb são também maiores em matemática que em português. Parte do ganho no teste de matemática do Pisa e a maior parte do ganho no teste de leitura resultam do aumento gradual no tempo que os alunos com a idade de quinze anos passam na escola. Os ganhos no Pisa para os estudantes brasileiros mais favorecidos são menores do que entre aqueles com níveis baixos de recursos acadêmicos familiares, o que também se verifica no teste do Saeb.

A avaliação institucional no curso de Medicina da Universidade de Londrina: uma experiência inovadora

O curso de Medicina da Universidade Estadual de Londrina (UEL) desenvolveu sua proposta de avaliação institucional, contextualizada no panorama nacional e na realidade regional, e a partir de 2003 implantou o Sistema Integrado de Avaliação do Curso de Medicina (SIAMed)¹, cujos princípios se encontram em consonância com o Sistema Nacional de Avaliação da Educação Superior proposto pelo MEC/Inep. O SIAMed¹ engloba o conjunto das dimensões que compõem o curso, envolve todos os que participam do processo deformação do médico e é composto por três fases de desenvolvimento: avaliação interna, avaliação externa e reavaliação. Os resultados possibilitaram identificar as potencialidades efragilidades do curso, as quais foram amplamente discutidas e aprovadas pela comunidade interna. Posteriormente, foram traduzidas em propostas de ação que passaram a integrar os Planos de Ação da Comissão Executiva e das Comissões de Apoio do Colegiado para o biênio subseqüente (2006-2008), fortalecendo o processo de mudança vivenciado pelo curso.

Experiência de prova prática na seleção para a residência médica: exeqüibilidade, segurança e importância deste processo de avaliação

Relata-se a experiência da realização de prova prática no concurso para seleção de médicos residentes no Centro Universitário Serra dos Órgãos, Teresópolis (RJ). Houve uma primeira fase com prova teórica (PT) de múltipla escolha e uma segunda fase com prova prática presencial (PP), ambas eliminatórias e classificatórias. As cinco áreas básicas do ensino médico foram avaliadas por meio do exame clínico de dois pacientes - um clínico ou cirúrgico e outro da área materno-infantil, conforme sorteio. A PP objetivou avaliar atitudes, habilidades e conhecimentos. Houve capacitação de dois tipos de bancas: a primeira com docentes das áreas clínica e cirúrgica, dita clínico-cirúrgica (CC), e a segunda com docentes das áreas de pediatria, tocoginecologia e saúde coletiva, chamada materno-infantil e preventiva (MIP). Não houve correlação significativa entre as notas da PT e as da PP. A PP foi determinante para a classificação final em cinco dos seis programas oferecidos. Houve correlação entre as notas das bancas CC e MIP (r = 0,483, p < 0,001). Houve uniformidade das notas intrabanca e interbanca. A PP é exeqüível, segura e importante instrumento para a adequação do ensino de graduação em Medicina às diretrizes curriculares.

Projeto de avaliação de tendências de mudanças no curso de graduação nas escolas médicas brasileiras

O projeto de avaliação de tendências de mudanças no curso de graduação nas escolas médicas brasileiras da Comissão de Avaliação das Escolas Médicas (Caem) da Abem resultou da necessidade de avaliar e acompanhar as mudanças que vêm ocorrendo nas escolas médicas após movimentos nacionais e internacionais que recomendam adequar a formação do profissional às demandas contemporâneas de saúde, em especial no Brasil, após a homologação das Diretrizes Curriculares Nacionais para o Curso de Graduação em Medicina. Constituída por professores, estudantes e estudiosos do tema, a Caem discutiu e aprovou o projeto, que se baseou no trabalho de tese que adota cinco eixos conceptuais relevantes na formação médica - mundo do trabalho, projeto pedagógico, abordagem pedagógica, cenários da prática e desenvolvimento docente. O projeto propõe um trabalho para ser executado com as escolas em três momentos: 1) aplicação do instrumento de auto-avaliação com análise dos dados pela Caem e devolução às escolas; 2) aproximação das evidências de mudanças apontadas pelas escolas com identificação dos atores sociais envolvidos e construção de indicadores capazes de averiguar e acompanhar as mudanças; 3) sistematização e apresentação de dados para análise e recomendações com elaboração do relatório, atendendo aos princípios do Sistema Nacional de Avaliação da Educação Superior (Sinaes). Este artigo mostra os detalhes do projeto e como resultado a adesão das escolas por conta do seu lançamento, em 2006.

Influência dos cursos preparatórios para residência médica em uma avaliação global

INTRODUÇÃO: O desenvolvimento cognitivo é um processo complexo e o mais intenso na formação médica, necessitando ser acompanhado minuciosa e criteriosamente. Várias ferramentas foram criadas com o intuito de acompanhar tal processo, entre elas o teste global (ou de situação) de conhecimento, cuja finalidade é avaliar o desempenho cognitivo durante o curso e o próprio curso, bem como treinar acadêmicos para concursos. Outra forma de treinamento para provas de qualificação, muito usada atualmente, são os Cursos Preparatórios (CP) para residência médica. OBJETIVO: Analisar a influência e eficácia dos CP no ganho cognitivo dos acadêmicos do internato bienal de um curso de Medicina. METODOLOGIA: Estudo transversal, quantitativo, com aplicação de uma prova de situação aos internos que cursam ou não CP. RESULTADOS: Realizaram a prova 127 internos, sendo 63 do primeiro semestre e 64 do terceiro. A média de acerto geral foi de 5,1 ± 1,0 (5,0 ± 0,9 para quintanistas e 5,1 ± 1,2 para sextanistas; p = 0,533). Do total dos internos, 77,2% participavam de CP, sendo menor a proporção dos quintanistas (65,1% vs. 89,1%; p = 0,001). Não se observou diferença estatística no desempenho cognitivo dos internos relacionado à "frequência ou não de CP" (5,1 ± 1,1 vs. 4,8 ± 1,0; p = 0,203). CONCLUSÃO: O teste do tipo global não apresentou diferença estatística significativa no desempenho cognitivo dos estudantes de uma série para outra, não demonstrando no CP fator diferenciador neste tipo de avaliação (testes de múltipla escolha), colocando em dúvida a real influência e efetividade do CP.

Matriz de competências essenciais para a formação e avaliação de desempenho de estudantes de medicina

OBJETIVO: O artigo propõe uma matriz de competências essenciais para valorização e intencionalidade dos percursos acadêmicos e como referência de processos avaliativos dos estudantes. METODOLOGIA: O estudo apresenta delineamento quanti-qualitativo. Após revisão integrativa da literatura e pesquisa documental, foi elaborada e consolidada a versão inicial. O teste piloto com 12 professores, membros do Colegiado de Graduação do curso médico da UFMG, contribuiu para ajustes do documento. A validação da matriz foi orientada pela metodologia Delphi, com avaliação docente individual, por via eletrônica e utilização da ferramenta Googledocs. RESULTADOS: Houve consenso entre os 112 professores avaliadores para aprovação da matriz, composta por seis grandes domínios - profissionalismo; relacionamentos interpessoais e comunicação; atenção integral à saúde da pessoa; organização de sistemas de saúde e atenção em saúde pública; gestão do conhecimento; conhecimento médico -, 28 subdomínios e 204 descritores dos conhecimentos, habilidades e atitudes essenciais na formação do médico, durante sua graduação. CONCLUSÕES: Considera-se que a matriz contribuirá na qualificação da formação médica e na certificação das competências para o atendimento adequado às demandas de saúde, dentro de padrões de excelência técnica e responsabilidade social.

Avaliação dos Hospitais de Ensino no Brasil: uma Revisão Sistemática

Hospitais de ensino (HE) são aqueles que desenvolvem ações de docência, pesquisa e prestação de serviço de alta complexidade, sendo necessárias, portanto, qualidade e integralidade em suas ações, pautadas nos princípios e diretrizes do SUS. Este estudo analisa a produção científica sobre a avaliação dos hospitais de ensino. Foi realizada uma revisão sistemática,de julho a setembro de 2013, nas bases de dados eletrônicas Lilacs, Medline e SciELO, utilizando como orientador da busca o descritor “hospitais de ensino”e como critérios de inclusão: artigos que discutissem avaliação dos HEs; desenvolvidos no Brasil; disponíveis na íntegra e em português; e publicados após 2004. Assim, foram incluídos dez artigos que, por atenderem aos nossos interesses de investigação, foram lidos na íntegra e posteriormente discutidos. A revisão indicou que os estudos existentes são insuficientes para avaliar o desempenho dos HEs, sendo necessárias novas pesquisas em outras regiões do País, com abordagens metodológicas qualitativas e mistas para o desenvolvimento dessa avaliação.

Teoria e Método para um Modelo de Avaliação dos Hospitais de Ensino no Brasil

RESUMO Hospitais de Ensino servem de cenário de prática para atividades curriculares de cursos da área da saúde, podendo ser de propriedade de uma Instituição de Ensino Superior, pública ou privada, ou formalmente conveniados a esta, apresentando como eixos de reestruturação atenção à saúde, gestão hospitalar, ensino e pesquisa. Desta forma, este trabalho tem como objetivo descrever um modelo heurístico de avaliação de Hospitais de Ensino com base nos conceitos de paradigma de pesquisa e de modelo teórico, tomando como hipótese de trabalho que a avaliação é uma aplicação da metodologia das ciências sociais. Assim, com respeito ao marco metodológico, elegemos a Avaliação de Quarta Geração de Egon G. Guba e Yvona S. Lincoln como metodologia de apreensão dos significados, valores, questões e preocupações frente aos processos de gestão, ensino, pesquisa e assistência, por meio de seus stakeholders, implicados no processo.

Limites e possibilidades dos programas de aceleração de aprendizagem

Pretendi neste trabalho analisar os limites e possibilidades da escola integrar alunos com atraso de escolaridade em processos de educação regular, que receberam apoio de programas de aceleração da aprendizagem. Baseada nas avaliações realizadas desses programas por professores do Programa de Estudos Pós-Graduados em Psicologia da Educação da PUCSP e por pesquisadores do Núcleo de Avaliação Educacional da Fundação Carlos Chagas, discuto os resultados efetivamente alcançados considerando duas categorias de análise. Na primeira categoria, analiso os efeitos da estratégia pedagógica promovida pelos programas, nas aprendizagens e progressos dos alunos participantes. Na segunda categoria, procuro analisar as possibilidades de integração/inclusão desses alunos no processo de educação regular. Finalmente, à guisa de conclusão, procuro fazer algumas considerações teórico-metodológicas. Distinguindo integração de inclusão, discuto os limites e possibilidades que as ações dos programas têm de realmente promoverem o desenvolvimento de uma escola sem exclusão.

O futuro das políticas de responsabilização educacional no Brasil

O artigo trata do surgimento da política em que a escola e seus dirigentes são responsabilizados pelos resultados dos alunos (accountability), e descreve os contornos e prováveis conseqüências das primeiras experiências no Brasil. Discute o contexto em que se produziram os exemplos mais conhecidos da política de responsabilização, na Inglaterra e nos Estados Unidos, com o propósito de avaliar se os resultados obtidos até agora no Brasil indicam a existência de condições para que ela se torne elemento central dos sistemas de gestão educacional nos estados. Os exemplos estudados são o Prêmio Educacional Escola do Novo Milênio - Educação Básica de Qualidade no Ceará, o Programa Nova Escola da Secretaria de Educação do Estado do Rio de Janeiro, e o Boletim da Escola da Secretaria de Educação do Estado de Paraná. A análise utiliza principalmente dados dos sistemas estaduais de avaliação de desempenho nas fórmulas empregadas para o cálculo das conseqüências para as equipes escolares, e chega à conclusão de que as condições políticas na maioria dos estados representam um empecilho à adoção extensiva dessa forma de responsabilização em um futuro próximo.

Melhoria do desempenho cognitivo dos alunos do ensino fundamental

Este artigo introduz um modelo conceitual que relaciona fatores intra e extra-escolares a uma medida de desempenho cognitivo dos alunos. Com a ajuda desse esquema revisam-se as evidências presentes na literatura educacional sobre as possibilidades de melhoria dos resultados cognitivos dos alunos do ensino fundamental. Muitos dos resultados das pesquisas relatadas na literatura internacional não foram validados por estudos empíricos no Brasil até o momento. Os melhores dados para estudo do assunto disponíveis no país são os do Sistema Nacional de Avaliação da Educação Básica - Saeb, que têm muitas limitações. No entanto, já é possível garantir que, considerando o nível atual do desempenho dos alunos, há ações que podem ser realizadas no nível da escola com grande potencial de melhoria das proficiências dos alunos. Assim, neste momento, é preciso enfatizar as políticas escolares, tendo em vista que elas só serão viáveis com a implantação da autonomia das escolas, preceito já estabelecido em lei, mas ainda não completamente implementado.

Origem social e risco de repetência: interação raça-capital econômico

A despeito de melhora expressiva no fluxo escolar durante a maior parte da década de 1990, especialmente entre 1992 e 1998, a repetência tem-se mantido constante e em valor elevado desde 1998. Dados provenientes dos dois últimos censos das escolas indicam leve tendência de aumento da repetência. Usamos dados do Sistema Nacional de Avaliação da Educação Básica - Saeb/2001 -, para investigar a relação entre origem social e risco de repetência de alunos que cursavam a 8ª série do ensino fundamental em escolas públicas de capitais brasileiras. O resultado da estimação de modelos de risco para repetência mostrou que diversas variáveis de origem social continuam associadas ao aumento do risco da repetência, no sentido usualmente descrito pela literatura educacional. Mostrou também que embora capital econômico acima da média atue como fator de proteção para a repetência, esse resultado não prevalece para todos os grupos raciais, pois alto capital econômico mostrou-se fator de risco para os alunos que se autodeclararam pretos. Conseqüências dos resultados para políticas públicas são discutidas.

Políticas educacionais e desempenho escolar nas capitais brasileiras

Este trabalho investiga a associação das políticas públicas sobre o desempenho das redes de ensino das capitais brasileiras a partir dos dados relativos ao rendimento de alunos da 4ª série do ensino fundamental, aferidos pelo Sistema de Avaliação da Educação Básica nos anos 1999, 2001 e 2003. A investigação fez uso de modelos multiníveis de classificação cruzada para dar conta da relação entre o rendimento de alunos, redes de ensino e anos em que foi feita a avaliação, e implementou controles pelo nível socioeconômico dos alunos e pela composição social das redes de ensino. Os resultados apontam que as políticas educacionais associadas a melhor desempenho dos estudantes das redes de ensino das capitais brasileiras são aquelas relacionadas aos processos de escolha meritocrática de diretores, à autonomia financeira, à implementação de sistemas de avaliação, ao atendimento em educação infantil e à formação superior de docentes. Conseqüências para a formulação da agenda das políticas educacionais são apresentadas.

Influência do desempenho educacional na escolha da profissão

O artigo estuda a influência do desempenho em Matemática na educação básica na escolha de carreiras no ensino superior. A análise, em duas fases, calcula, na primeira delas, uma eficiência relativa educacional em Matemática para cada unidade da federação, utilizando os dados do Sistema Nacional de Avaliação da Educação Básica e do Exame Nacional do Ensino Médio. Na segunda fase, correlaciona essa eficiência com a procura por cursos no vestibular. Se a correlação for forte e positiva, pode-se dizer que o estado com maior eficiência educacional em Matemática apresenta maior procura por esse curso. Os resultados mostram que os estados com maior eficiência em relação à Matemática também são aqueles onde os estudantes escolhem as carreiras mais diretamente ligadas a ela, em especial as engenharias. Outro resultado, e mais preocupante, sugere que as carreiras relativas à formação de professores na área de exatas, como Física e Matemática, são mais procuradas em estados com menor eficiência em Matemática.