Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências

O artigo apresenta resultados de pesquisa que analisa sistemas de avaliação implementados por cinco unidades federadas (Bahia, Ceará, Minas Gerais, Paraná e São Paulo), considerando as características vigentes em 2005-2007. Tendo como referência suas especificidades, busca-se explorar como os resultados produzidos vêm informando a formulação e implementação de políticas educacionais, bem como discutir seu potencial para tornar-se um marco da política educacional que efetivamente interfere na gestão das redes de ensino e das escolas. Observou-se que os sistemas tendem a apresentar características semelhantes e tomam como principal referência o Sistema de Avaliação da Educação Básica, de âmbito nacional. Quanto ao uso dos resultados, são tênues ou inexistentes seus impactos ainda que precedidos, na fala de seus propositores, de ampla retórica presente na literatura sobre suas potencialidades. No entanto, a partir do balanço feito pelos próprios gestores dos sistemas, é possível identificar a preocupação de tornar tais sistemas mais efetivos. Assim, já neste estudo, identificam-se iniciativas que procuram transformar a utilização dos dados obtidos em instrumentos de gestão, como as que propõem bônus para professores e funcionários.

Em busca da qualidade educacional na pré-escola: uma experiência mexicana

O objetivo deste artigo é relatar um trabalho de elaboração e aplicação de instrumentos para avaliar a qualidade da educação pré-escolar em curso no México. Após breve apresentação do contexto do trabalho, descreve-se a trajetória seguida para desenvolver um instrumento que representa uma definição operacional de qualidade e uma metodologia que o incorpora à pesquisa e à avaliação. Apresentam-se a seguir exemplos da aplicação do instrumento em dois estudos e alguns de seus resultados, e finaliza-se com algumas conclusões e implicações para o planejamento de políticas públicas

Influência do desempenho educacional na escolha da profissão

O artigo estuda a influência do desempenho em Matemática na educação básica na escolha de carreiras no ensino superior. A análise, em duas fases, calcula, na primeira delas, uma eficiência relativa educacional em Matemática para cada unidade da federação, utilizando os dados do Sistema Nacional de Avaliação da Educação Básica e do Exame Nacional do Ensino Médio. Na segunda fase, correlaciona essa eficiência com a procura por cursos no vestibular. Se a correlação for forte e positiva, pode-se dizer que o estado com maior eficiência educacional em Matemática apresenta maior procura por esse curso. Os resultados mostram que os estados com maior eficiência em relação à Matemática também são aqueles onde os estudantes escolhem as carreiras mais diretamente ligadas a ela, em especial as engenharias. Outro resultado, e mais preocupante, sugere que as carreiras relativas à formação de professores na área de exatas, como Física e Matemática, são mais procuradas em estados com menor eficiência em Matemática.

Incentivos monetários para professores: avaliação, gestão e responsabilização na educação básica

No âmbito da reforma educacional brasileira, o crescente interesse dos governos e legisladores pelas políticas de responsabilização dos professores e das escolas reflete no deslocamento de foco das investigações e pesquisas, que passou da avaliação externa da educação básica à avaliação como mecanismo de gestão educacional por resultados. A presente revisão crítica da literatura visa a situar a polêmica acerca da utilização dos resultados de testes padronizados como instrumentos de gestão educacional e regulação do trabalho escolar por meio dos incentivos monetários por desempenho. O artigo mostra que os discursos dos especialistas oscilam entre dois extremos: de um lado, estão os que criticam tais propostas e buscam investigar os reflexos da reforma política sobre a organização da educação e do ensino; de outro, os que defendem sua implementação como meio de responsabilização dos profissionais e de uma suposta melhoria da qualidade educacional. Entre essas duas posições, há aqueles que demandam mais evidências científicas sobre a efetividade de tais propostas sobre o aprendizado dos alunos.

O planejamento educacional na pós-graduação em educação no Brasil

Levantamento das informações fornecidas pelos programas de pós-graduação em educação no período 2000-2009, disponíveis no portal da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, revela a progressiva substituição dos estudos sobre planejamento educacional por estudos sobre gestão e avaliação. Confronta-se esse "esvaziamento" com a "fertilidade" dos anos 1970/1980, analisando fontes utilizadas e conteúdos trabalhados nos mestrados em educação da PUC-Rio e da Fundação Getulio Vargas. Nas considerações fi nais, afi rma-se que esse "esvaziamento" foi simultâneo à desagregação do sistema de planejamento brasileiro, ocorrida nos anos de 1990, e sugere retomar aqueles estudos, a partir das últimas Conferências Nacionais de Educação e das dificuldades de aprovação pelo Congresso Nacional dos planos nacionais de educação por elas propostos.

Federalismo e planejamento educacional no exercício do par

Este texto insere-se no campo de estudos sobre avaliação de políticas públicas e tem por objetivo analisar o planejamento educacional realizado por meio do PAR. Especificamente, pretende responder às questões sobre a receptividade dos sistemas educativos na execução do PAR e a capacidade desse instrumento de planejamento de articular os entes da federação para a gestão da educação. As análises desenvolvidas têm por eixo questões concernentes ao processo de centralização/descentralização das políticas educativas. A implantação do PAR apresenta dificuldades no alcance dos objetivos de integração e colaboração entre os entes da federação, ao mesmo tempo que contribui para o desenvolvimento de ações de planejamento e de diálogo entre os sistemas educativos.

Avaliação qualitativa em medicina: experiência em propedêutica médica na UFBA, 2003

No momento atual, reconhece-se a necessidade de a educação médica promover mudanças de modo a formar profissionais com um perfil mais humanizado. Para alcançar tal propósito, é essencial investir em transformações no campo da avaliação. O principal objetivo deste trabalho é descrever as diversas funções do diário de campo como instrumento de avaliação educacional. Trata-se de estudo de caso qualitativo, que envolve a leitura de diários de campo de alunos matriculados nos semestres 2003.1 e 2003.2, na disciplina Clínica Propedêutica Médica I, Faculdade de Medicina - UFBA. Utilizou-se a análise de conteúdo como técnica principal de interpretação dos dados coletados. Com base nos relatos dos estudantes sobre suas aulas práticas, obteve-se uma visão ampla acerca de suas experiências nos primeiros contatos com pacientes, seus julgamentos acerca das atividades e do desempenho do professor, assim como da evolução de seu aprendizado. O diário de campo 1) permite acompanhar as atividades práticas e a atuação didática dos professores; 2) fornece subsídios para a avaliação dos estudantes em termos afetivos; 3) serve como recurso para a reformulação da prática pedagógica a partir do feedback dos discentes; 4) funciona para o estudante como instrumento de auto-avaliação.

Avaliação seriada versus exame vestibular: semelhanças e diferenças entre Coortes no Curso de Medicina da Universidade de Brasília

O propósito deste estudo retrospectivo foi avaliar o impacto do processo de avaliação seriada, em comparação com exame vestibular, em termos de efeitos no perfil de atributos e de progresso acadêmico de alunos da Universidade de Brasília. Os sujeitos foram 415 alunos (57,8% masculinos) registrados no Curso de Medicina após aprovação para ingresso mediante avaliação seriada, ou exame vestibular no primeiro ou segundo semestre, ao longo de seis anos (1999-2004). Foram comparados, entre os grupos de ingresso, os indicadores demográficos, de atitudes em face do aprendizado e de rendimento cognitivo no curso. Os resultados mostraram proporções significantemente maiores de alunos naturais do Distrito Federal e da faixa etária mais jovem no grupo da avaliação seriada. O índice de rendimento acadêmico manteve-se significativamente mais elevado nesse grupo desde o segundo ao nono período do curso. Análises estatísticas indicam que tal efeito reflete, além da forma e do ano de ingresso, outras diferenças nas características dos alunos, tais como sexo, idade e valoração do aprendizado. Os achados sugerem que a avaliação seriada privilegiou a aptidão acadêmica quanto ao rendimento cognitivo e alterou tendências na composição demográfica do alunado com efeitos no próprio rendimento estudantil.

Teste de progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina

O teste de progresso (TPMed) é uma avaliação cognitiva longitudinal com conteúdo final do curso, que tem por finalidade avaliar a instituição e o desempenho cognitivo dos estudantes. Atualmente, tem sido aplicado em diversas escolas médicas no mundo e no Brasil. A Universidade Estadual de Londrina (UEL) implantou esse teste em 1998. Este trabalho apresenta a experiência da UEL na implementação do TPMed como um instrumento de avaliação do curso e alguns resultados desse período: houve aumento na participação dos estudantes para realizar o teste; o desempenho cognitivo dos estudantes apresentou aumento de uma série para outra em cada teste; a média de acertos nas áreas de Clínica Médica foi menor na quinta série, no oitavo e nono TPMed; na Saúde Coletiva, houve alto percentual de acerto nas duas primeiras séries. Tais resultados refletem a estrutura curricular, bem como as potencialidades e fragilidades do curso. O teste de progresso é um bom indicador do processo de auto-avaliação do curso, mas ainda necessita de aprofundamento nos estudos de técnicas de análise dos resultados, para permitir estimar o crescimento cognitivo dos estudantes.

Experiência de prova prática na seleção para a residência médica: exeqüibilidade, segurança e importância deste processo de avaliação

Relata-se a experiência da realização de prova prática no concurso para seleção de médicos residentes no Centro Universitário Serra dos Órgãos, Teresópolis (RJ). Houve uma primeira fase com prova teórica (PT) de múltipla escolha e uma segunda fase com prova prática presencial (PP), ambas eliminatórias e classificatórias. As cinco áreas básicas do ensino médico foram avaliadas por meio do exame clínico de dois pacientes - um clínico ou cirúrgico e outro da área materno-infantil, conforme sorteio. A PP objetivou avaliar atitudes, habilidades e conhecimentos. Houve capacitação de dois tipos de bancas: a primeira com docentes das áreas clínica e cirúrgica, dita clínico-cirúrgica (CC), e a segunda com docentes das áreas de pediatria, tocoginecologia e saúde coletiva, chamada materno-infantil e preventiva (MIP). Não houve correlação significativa entre as notas da PT e as da PP. A PP foi determinante para a classificação final em cinco dos seis programas oferecidos. Houve correlação entre as notas das bancas CC e MIP (r = 0,483, p < 0,001). Houve uniformidade das notas intrabanca e interbanca. A PP é exeqüível, segura e importante instrumento para a adequação do ensino de graduação em Medicina às diretrizes curriculares.

Conceito global: um método de avaliação de competência clínica

Muito se tem feito para desenvolver métodos que avaliem de forma confiável a proficiência em habilidade clínica dos alunos de graduação médica. Há fortes evidências de que a avaliação global pode ser uma alternativa viável e confiável na avaliação de estudantes de graduação no ambiente clínico. Rotineiramente, a competência clínica tem sido avaliada pelos docentes por meio de um conceito subjetivo. Essa nota, dada por um especialista, não é objetiva e está sujeita a vieses. O uso de um instrumento bem delineado, com diversos itens pontuados numa escala, oferece a vantagem de especificar o que deve ser avaliado, auxiliando os avaliadores a distinguir os diferentes níveis do desempenho. Usando este método, os docentes podem expressar sua percepção global dos alunos, de forma mais objetiva, em relação a duas esferas distintas da competência: técnica (contendo itens como história clínica, exame físico, conhecimento médico, julgamento clínico, solução de problemas e hábitos no trabalho) e humanista (incluindo comunicação com pacientes e familiares, respeito, habilidades reflexivas, sensibilidade ao contexto e trabalho em equipe).

Projeto de avaliação de tendências de mudanças no curso de graduação nas escolas médicas brasileiras

O projeto de avaliação de tendências de mudanças no curso de graduação nas escolas médicas brasileiras da Comissão de Avaliação das Escolas Médicas (Caem) da Abem resultou da necessidade de avaliar e acompanhar as mudanças que vêm ocorrendo nas escolas médicas após movimentos nacionais e internacionais que recomendam adequar a formação do profissional às demandas contemporâneas de saúde, em especial no Brasil, após a homologação das Diretrizes Curriculares Nacionais para o Curso de Graduação em Medicina. Constituída por professores, estudantes e estudiosos do tema, a Caem discutiu e aprovou o projeto, que se baseou no trabalho de tese que adota cinco eixos conceptuais relevantes na formação médica - mundo do trabalho, projeto pedagógico, abordagem pedagógica, cenários da prática e desenvolvimento docente. O projeto propõe um trabalho para ser executado com as escolas em três momentos: 1) aplicação do instrumento de auto-avaliação com análise dos dados pela Caem e devolução às escolas; 2) aproximação das evidências de mudanças apontadas pelas escolas com identificação dos atores sociais envolvidos e construção de indicadores capazes de averiguar e acompanhar as mudanças; 3) sistematização e apresentação de dados para análise e recomendações com elaboração do relatório, atendendo aos princípios do Sistema Nacional de Avaliação da Educação Superior (Sinaes). Este artigo mostra os detalhes do projeto e como resultado a adesão das escolas por conta do seu lançamento, em 2006.

Construção de indicadores qualitativos para avaliação de mudanças

Apresenta-se uma reflexão teórico-metodológica focada na construção de indicadores qualitativos, voltados principalmente para a avaliação de mudanças no campo educacional. Foi escrito para subsidiar o processo de autoavaliação de um conjunto de escolas médicas que desenvolvem um programa de transformação de seus métodos tradicionais para outros fundamentados na filosofia e na prática de aprendizagem ativa. Nele são discutidos e problematizados: o conceito de indicador; a produção de indicadores para pesquisa avaliativa e a construção de indicadores qualitativos. Esses últimos são tratados sob duas formas mais frequentes: dentro da lógica quantitativa e da lógica qualitativa. Indicadores qualitativos a partir da visão quantitativa da realidade são construídos principalmente por meio de escalas. Dentro da ótica qualitativa, são elaborados a partir das representações e práticas dos sujeitos envolvidos na investigação. Enfatizando a necessidade de produção de indicadores de mudança que levem em conta estruturas, processos, relações e a contribuição da subjetividade, conclui-se que a validade interna desses indicadores pode ser alcançada quando as categorias empregadas em sua construção são fundamentadas teórica e contextualmente e possuem significados mútuos e partilhados entre os participantes.

Teste de concordância de scripts: uma proposta para a avaliação do raciocínio clínico em contextos de incerteza

A avaliação do raciocínio clínico em situações de incerteza é pouco pesquisada na educação médica. Os testes escritos mais aplicados são de múltipla escolha, capazes de avaliar como se lida com problemas bem definidos. Porém, a maioria das situações contém incertezas. Um método de avaliação do raciocínio clínico em contextos de incerteza foi desenvolvido a partir da teoria de scripts, com situações em geriatria. Um grupo de especialistas e um grupo de estudantes de graduação resolveram o teste. Acomparação entre os resultados trouxe indícios da validade do instrumento, capaz de diferenciar o raciocínio relacionado ao nível de experiência profissional. A média dos escores dos especialistas (80,41) foi superior à dos estudantes (70,71), p < 0,001. As análises de consistência interna e um estudo G forneceram resultados que estão de acordo com metodologias que buscam avaliar uma competência profissional. Concluiu-se que uma proposta de teste de concordância de scripts em língua portuguesa aplicado em uma instituição de ensino brasileira pode ser uma alternativa para a avaliação do raciocínio clínico em contextos de incerteza.

Conceito e avaliação de habilidades e competência na educação médica: percepções atuais dos especialistas

As Diretrizes Curriculares Nacionais (DCN) para cursos de Medicina orientam mudanças nos currículos e processos de ensino-aprendizagem-avaliação para desenvolvimento de competências e habilidades profissionais. O presente trabalho, iniciativa da Associação Brasileira de Educação Médica (Abem), investiga os significados e a apropriação da noção de competência por estudiosos da avaliação educacional na medicina. Foram realizadas dez entrevistas mediante roteiro com questões abertas e respondentes selecionados a partir de sua produção acadêmica sobre o assunto. Suas narrativas foram submetidas a análise de conteúdo mediante análise temática. Os resultados enfocam o significado da competência, o papel dos sujeitos e do contexto na construção da competência e a relação entre avaliação de competência e construção da integralidade em saúde. Observa-se que, embora de modos heterogêneos, o conceito de competência tem sido apropriado de modo fértil pelos especialistas brasileiros. No entanto, o estudo sugere que a consolidação de uma "cultura de avaliação" nas escolas médicas demandará investimentos em núcleos de estudo e pesquisa para aprofundamento de conceitos, objetivos, seleção de conteúdos, pactuação de critérios, elaboração de instrumentos e treinamento de avaliadores nas instituições brasileiras.