O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil

A avaliação e o monitoramento são fases imprescindíveis do planejamento estatal, ocupando também espaço crescente nas pesquisas acadêmicas. Sua atualidade no debate em torno da eficácia e do impacto das políticas públicas em diferentes áreas é evidenciada pelos vários fóruns, encontros e redes de especialistas que tratam da temática, pela demanda oriunda de órgãos públicos, e pela profissionalização dessa atividade em escala internacional. O presente artigo destaca, de forma sistemática e analítica, a relevância dos processos de avaliação, sistematizando informações sobre aspectos conceituais, e o estado da arte dos estudos sobre avaliação e das práticas avaliativas de diferentes esferas de governo. O trabalho está dividido em cinco seções: na primeira, são apresentadas a conceituação de avaliação e suas principais características, na segunda são analisados os tipos de avaliação, e, na terceira, seus diversos usos. Segue, na quarta seção, uma exposição sobre as tendências dos estudos avaliativos no Brasil e no mundo e, por fim, nas conclusões são apontadas as dificuldades e as necessidades ao aprimoramento da atividade de avaliação de políticas públicas.

Proposta de um modelo de gestão de programas de pós-graduação na área de Administração a partir dos sistemas de avaliação do Brasil (CAPES) e dos Estados Unidos (AACSB)

O sistema brasileiro de avaliação de programas de pós-graduação vem evoluindo desde 1976, sendo considerado eficiente e moderno. No presente trabalho, o objetivo é propor um modelo de gestão de programas de pós-graduação stricto sensu em Administração do Brasil, com base nos sistemas de avaliação do Brasil e dos Estados Unidos. Para tanto, procedeu-se a uma pesquisa em oito programas: quatro no Brasil, recomendados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e quatro nos Estados Unidos, credenciados pela Association to Advance Collegiate School of Business (AACSB). O método de pesquisa foi o estudo de casos múltiplos de caráter exploratório com dois componentes básicos: pesquisa documental, por meio de um estudo em profundidade dos sistemas de avaliação; pesquisa de campo com os coordenadores de programas para identificar como os sistemas de avaliação são utilizados para desenvolver os programas. A partir desses estudos, foi proposto um modelo de gestão em que, além de atender aos requisitos do sistema de avaliação da CAPES, seja levada em consideração a realidade do programa e os elementos importantes para seu contínuo aprimoramento, dentre eles: missão e visão; plano estratégico; corpo docente; estrutura do programa; corpo discente; resultados que abrangem produção científico-tecnológica, egresso e inserção social.

Formação docente nos surveys de avaliação educacional

Este artigo analisa questionários aplicados a professores durante pesquisas de avaliação do rendimento do aluno, com o objetivo de compreender como tais instrumentos têm incorporado os achados dos estudos qualitativos sobre formação docente. Ao longo do texto, explicitamos o método de trabalho utilizado, delimitamos a parcela da literatura sobre formação de professores priorizada como referencial e indicamos o processo por nós percorrido na definição dos construtos de análise. A seguir, apresentamos e definimos esses construtos, utilizando seus indicadores no exame dos questionários do professor utilizados pelo Saeb e por dois outros surveys norte-americanos. Finalmente, apresentamos uma análise comparativa dos diversos instrumentos, indicando como eles se modificaram ao longo dos anos e como contemplaram a crescente compreensão que existe acerca do saber docente, ou deixaram de fazê-lo.

Formação de profissionais de saúde no Brasil: uma análise no período de 1991 a 2008

Estudo conduzido com o objetivo de contribuir para o planejamento e implementação de políticas de qualificação profissional no campo da saúde. Foram analisados 14 cursos de graduação da área da saúde: biomedicina, ciências biológicas, educação física, enfermagem, farmácia, fisioterapia, fonoaudiologia, medicina, medicina veterinária, nutrição, odontologia, psicologia, serviço social e terapia ocupacional, no período de 1991 a 2008. Dados sobre número de ingressantes, taxa de ocupação de vagas, distribuição de concluintes por habitante, gênero e renda familiar foram coletados a partir dos bancos do Ministério da Educação. Para o curso de medicina, a relação foi de 40 candidatos por vaga nas instituições públicas contra 10 nas privadas. A maioria dos ingressantes era composta por mulheres. A região Sudeste concentrou 57% dos concluintes, corroborando o desequilíbrio de distribuição regional das oportunidades de formação de profissionais de saúde e indicando a necessidade de políticas de incentivo à redução dessas desigualdades.

Uso de grupo focal como instrumento de avaliação de programa educacional em saúde

Este estudo objetiva identificar potencialidades e limitações do grupo focal como instrumento de avaliação através de um estudo de caso no qual o grupo focal foi utilizado para avaliar um treinamento em saúde. Entre as conclusões destacam-se: é possível comparar os resultados dos grupos realizados antes e depois do treinamento se o mesmo grupo for mantido; o grupo focal mostrou-se adequado para desvendar a natureza das deficiências do treinamento porque permitiu analisar a complexidade inerente tanto ao tema das drogas quanto aos objetivos do treinamento que busca mudanças de ordem afetivo-cultural e não apenas de ordem cognitiva.

Avaliação de Curso de Graduação segundo egressos

O egresso da graduação enfrenta, no seu cotidiano, situações complexas que o levam a confrontar as competências desenvolvidas durante o curso com as requeridas no exercício profissional. Tal vivência permite-lhe avaliar a adequação da estrutura pedagógica do curso e resgatar aspectos intervenientes desse processo. Este texto aborda a Avaliação de Cursos de Graduação, resgatando conceitos no campo da Avaliação Educacional; descreve as práticas desenvolvidas no Brasil dirigidas à Avaliação Institucional no âmbito da graduação e apresenta pesquisas relativas à avaliação de cursos, tendo a perspectiva do egresso como indicador. Foram utilizadas as seguintes palavras-chave: egressos, indicadores, avaliação e graduação, disponíveis nas bases de dados: PeriEnf, BDEnf, LILACS e no banco de dados DEDALUS. A análise das pesquisas encontradas ressalta a importância de se considerar a opinião dos egressos na adequação de propostas curriculares com vistas à concretização de um processo educacional com características emancipatórias e transformadoras.

Teste de progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina

O teste de progresso (TPMed) é uma avaliação cognitiva longitudinal com conteúdo final do curso, que tem por finalidade avaliar a instituição e o desempenho cognitivo dos estudantes. Atualmente, tem sido aplicado em diversas escolas médicas no mundo e no Brasil. A Universidade Estadual de Londrina (UEL) implantou esse teste em 1998. Este trabalho apresenta a experiência da UEL na implementação do TPMed como um instrumento de avaliação do curso e alguns resultados desse período: houve aumento na participação dos estudantes para realizar o teste; o desempenho cognitivo dos estudantes apresentou aumento de uma série para outra em cada teste; a média de acertos nas áreas de Clínica Médica foi menor na quinta série, no oitavo e nono TPMed; na Saúde Coletiva, houve alto percentual de acerto nas duas primeiras séries. Tais resultados refletem a estrutura curricular, bem como as potencialidades e fragilidades do curso. O teste de progresso é um bom indicador do processo de auto-avaliação do curso, mas ainda necessita de aprofundamento nos estudos de técnicas de análise dos resultados, para permitir estimar o crescimento cognitivo dos estudantes.

Projeto de avaliação de tendências de mudanças no curso de graduação nas escolas médicas brasileiras

O projeto de avaliação de tendências de mudanças no curso de graduação nas escolas médicas brasileiras da Comissão de Avaliação das Escolas Médicas (Caem) da Abem resultou da necessidade de avaliar e acompanhar as mudanças que vêm ocorrendo nas escolas médicas após movimentos nacionais e internacionais que recomendam adequar a formação do profissional às demandas contemporâneas de saúde, em especial no Brasil, após a homologação das Diretrizes Curriculares Nacionais para o Curso de Graduação em Medicina. Constituída por professores, estudantes e estudiosos do tema, a Caem discutiu e aprovou o projeto, que se baseou no trabalho de tese que adota cinco eixos conceptuais relevantes na formação médica - mundo do trabalho, projeto pedagógico, abordagem pedagógica, cenários da prática e desenvolvimento docente. O projeto propõe um trabalho para ser executado com as escolas em três momentos: 1) aplicação do instrumento de auto-avaliação com análise dos dados pela Caem e devolução às escolas; 2) aproximação das evidências de mudanças apontadas pelas escolas com identificação dos atores sociais envolvidos e construção de indicadores capazes de averiguar e acompanhar as mudanças; 3) sistematização e apresentação de dados para análise e recomendações com elaboração do relatório, atendendo aos princípios do Sistema Nacional de Avaliação da Educação Superior (Sinaes). Este artigo mostra os detalhes do projeto e como resultado a adesão das escolas por conta do seu lançamento, em 2006.

Percepção dos enfermeiros sobre a avaliação da aprendizagem nos treinamentos desenvolvidos em um hospital de São Paulo

Este estudo foi realizado com os enfermeiros de um hospital universitário da cidade de São Paulo, objetivando conhecer sua percepção sobre o processo de valiação da aprendizagem nos treinamentos desenvolvidos junto a eles. Para a coleta de dados utilizou-se um instrumento contendo a questão norteadora: Qual a sua percepção sobre a avaliação da aprendizagem nos programas de treinamento? Os discursos foram analisados, segundo o referencial de Bardin, na modalidade análise de conteúdo. Os resultados mostraram as posições dos enfermeiros em três categorias distintas: 1) dificuldades percebidas no processo de avaliação da aprendizagem em que a disponibilidade de tempo, sentimentos negativos quanto à avaliação e despreocupação com os resultados dos treinamentos são os desafios a serem trabalhados no dia-a-dia; 2) metodologia desenvolvida no processo de avaliação da aprendizagem devendo considerar diferentes ritmos de aprendizado, sua experiência e história de vida e conhecimentos anteriores e 3) a avaliação do processo ensino-aprendizagem como um indicador preciso das ações passadas e controle da qualidade do ensino adotado no treinamento.

O ambiente educacional do curso de Graduação em Enfermagem na perspectiva dos estudantes

RESUMO Objetivo Avaliar o ambiente educacional da Escola de Enfermagem da Universidade de São Paulo, na perspectiva do estudante. Método Abordagem quantitativa com desenho exploratório. Participaram do estudo, 176 estudantes que responderam a uma escala Likert, com graduação de 1 a 5 para avaliação do ambiente educacional. Os dados foram submetidos à análise fatorial exploratóriae testes estatísticos inferenciais; a confiabilidade do instrumento foi constatada pelo Alpha de Cronbach. Resultados A análise de dimensionalidade estabeleceu quatro fatores: Suporte à aprendizagem prática, com média de escore 3,64; Atitudes durante a aprendizagem, escore médio 2,92; Clima de aprendizagem, média 3,58 e Fragilidades da aprendizagem com 3,04. Conclusão O fator mais favorável do ambiente foi o Suporte à aprendizagem. As competências atitudinais atingiram escores mais baixos, sugerindo a necessidade de fortalecer esses aspectos durante a graduação.

Avaliação qualitativa em medicina: experiência em propedêutica médica na UFBA, 2003

No momento atual, reconhece-se a necessidade de a educação médica promover mudanças de modo a formar profissionais com um perfil mais humanizado. Para alcançar tal propósito, é essencial investir em transformações no campo da avaliação. O principal objetivo deste trabalho é descrever as diversas funções do diário de campo como instrumento de avaliação educacional. Trata-se de estudo de caso qualitativo, que envolve a leitura de diários de campo de alunos matriculados nos semestres 2003.1 e 2003.2, na disciplina Clínica Propedêutica Médica I, Faculdade de Medicina - UFBA. Utilizou-se a análise de conteúdo como técnica principal de interpretação dos dados coletados. Com base nos relatos dos estudantes sobre suas aulas práticas, obteve-se uma visão ampla acerca de suas experiências nos primeiros contatos com pacientes, seus julgamentos acerca das atividades e do desempenho do professor, assim como da evolução de seu aprendizado. O diário de campo 1) permite acompanhar as atividades práticas e a atuação didática dos professores; 2) fornece subsídios para a avaliação dos estudantes em termos afetivos; 3) serve como recurso para a reformulação da prática pedagógica a partir do feedback dos discentes; 4) funciona para o estudante como instrumento de auto-avaliação.

Avaliação seriada versus exame vestibular: semelhanças e diferenças entre Coortes no Curso de Medicina da Universidade de Brasília

O propósito deste estudo retrospectivo foi avaliar o impacto do processo de avaliação seriada, em comparação com exame vestibular, em termos de efeitos no perfil de atributos e de progresso acadêmico de alunos da Universidade de Brasília. Os sujeitos foram 415 alunos (57,8% masculinos) registrados no Curso de Medicina após aprovação para ingresso mediante avaliação seriada, ou exame vestibular no primeiro ou segundo semestre, ao longo de seis anos (1999-2004). Foram comparados, entre os grupos de ingresso, os indicadores demográficos, de atitudes em face do aprendizado e de rendimento cognitivo no curso. Os resultados mostraram proporções significantemente maiores de alunos naturais do Distrito Federal e da faixa etária mais jovem no grupo da avaliação seriada. O índice de rendimento acadêmico manteve-se significativamente mais elevado nesse grupo desde o segundo ao nono período do curso. Análises estatísticas indicam que tal efeito reflete, além da forma e do ano de ingresso, outras diferenças nas características dos alunos, tais como sexo, idade e valoração do aprendizado. Os achados sugerem que a avaliação seriada privilegiou a aptidão acadêmica quanto ao rendimento cognitivo e alterou tendências na composição demográfica do alunado com efeitos no próprio rendimento estudantil.

Experiência de prova prática na seleção para a residência médica: exeqüibilidade, segurança e importância deste processo de avaliação

Relata-se a experiência da realização de prova prática no concurso para seleção de médicos residentes no Centro Universitário Serra dos Órgãos, Teresópolis (RJ). Houve uma primeira fase com prova teórica (PT) de múltipla escolha e uma segunda fase com prova prática presencial (PP), ambas eliminatórias e classificatórias. As cinco áreas básicas do ensino médico foram avaliadas por meio do exame clínico de dois pacientes - um clínico ou cirúrgico e outro da área materno-infantil, conforme sorteio. A PP objetivou avaliar atitudes, habilidades e conhecimentos. Houve capacitação de dois tipos de bancas: a primeira com docentes das áreas clínica e cirúrgica, dita clínico-cirúrgica (CC), e a segunda com docentes das áreas de pediatria, tocoginecologia e saúde coletiva, chamada materno-infantil e preventiva (MIP). Não houve correlação significativa entre as notas da PT e as da PP. A PP foi determinante para a classificação final em cinco dos seis programas oferecidos. Houve correlação entre as notas das bancas CC e MIP (r = 0,483, p < 0,001). Houve uniformidade das notas intrabanca e interbanca. A PP é exeqüível, segura e importante instrumento para a adequação do ensino de graduação em Medicina às diretrizes curriculares.

Conceito global: um método de avaliação de competência clínica

Muito se tem feito para desenvolver métodos que avaliem de forma confiável a proficiência em habilidade clínica dos alunos de graduação médica. Há fortes evidências de que a avaliação global pode ser uma alternativa viável e confiável na avaliação de estudantes de graduação no ambiente clínico. Rotineiramente, a competência clínica tem sido avaliada pelos docentes por meio de um conceito subjetivo. Essa nota, dada por um especialista, não é objetiva e está sujeita a vieses. O uso de um instrumento bem delineado, com diversos itens pontuados numa escala, oferece a vantagem de especificar o que deve ser avaliado, auxiliando os avaliadores a distinguir os diferentes níveis do desempenho. Usando este método, os docentes podem expressar sua percepção global dos alunos, de forma mais objetiva, em relação a duas esferas distintas da competência: técnica (contendo itens como história clínica, exame físico, conhecimento médico, julgamento clínico, solução de problemas e hábitos no trabalho) e humanista (incluindo comunicação com pacientes e familiares, respeito, habilidades reflexivas, sensibilidade ao contexto e trabalho em equipe).