Sistemas estaduais de avaliação: uso dos resultados, implicações e tendências

O artigo apresenta resultados de pesquisa que analisa sistemas de avaliação implementados por cinco unidades federadas (Bahia, Ceará, Minas Gerais, Paraná e São Paulo), considerando as características vigentes em 2005-2007. Tendo como referência suas especificidades, busca-se explorar como os resultados produzidos vêm informando a formulação e implementação de políticas educacionais, bem como discutir seu potencial para tornar-se um marco da política educacional que efetivamente interfere na gestão das redes de ensino e das escolas. Observou-se que os sistemas tendem a apresentar características semelhantes e tomam como principal referência o Sistema de Avaliação da Educação Básica, de âmbito nacional. Quanto ao uso dos resultados, são tênues ou inexistentes seus impactos ainda que precedidos, na fala de seus propositores, de ampla retórica presente na literatura sobre suas potencialidades. No entanto, a partir do balanço feito pelos próprios gestores dos sistemas, é possível identificar a preocupação de tornar tais sistemas mais efetivos. Assim, já neste estudo, identificam-se iniciativas que procuram transformar a utilização dos dados obtidos em instrumentos de gestão, como as que propõem bônus para professores e funcionários.

Incentivos monetários para professores: avaliação, gestão e responsabilização na educação básica

No âmbito da reforma educacional brasileira, o crescente interesse dos governos e legisladores pelas políticas de responsabilização dos professores e das escolas reflete no deslocamento de foco das investigações e pesquisas, que passou da avaliação externa da educação básica à avaliação como mecanismo de gestão educacional por resultados. A presente revisão crítica da literatura visa a situar a polêmica acerca da utilização dos resultados de testes padronizados como instrumentos de gestão educacional e regulação do trabalho escolar por meio dos incentivos monetários por desempenho. O artigo mostra que os discursos dos especialistas oscilam entre dois extremos: de um lado, estão os que criticam tais propostas e buscam investigar os reflexos da reforma política sobre a organização da educação e do ensino; de outro, os que defendem sua implementação como meio de responsabilização dos profissionais e de uma suposta melhoria da qualidade educacional. Entre essas duas posições, há aqueles que demandam mais evidências científicas sobre a efetividade de tais propostas sobre o aprendizado dos alunos.

Auto-avaliação e avaliação por pares: estratégias para o desenvolvimento profissional do médico

Muitos estudos recentes incluem a auto-avaliação e a avaliação feita por pares na nota final do aluno em estágio clínico. Por muito tempo as avaliações dos estudantes de Medicina têm sido feitas exclusivamente pelos professores de forma subjetiva. Entretanto, a avaliação dos pares tem sido apontada como um bom indicador do futuro desempenho profissional, sendo considerada consistente e confiável, fornecendo informações que não poderiam ser medidas pelos métodos tradicionais. De forma complementar, a auto-avaliação também contribui para o processo de aprendizagem contínua, pois auxilia os alunos a identificarem seus pontos fortes e fracos. Embora nenhum desses dois métodos de avaliação seja rotineiramente ensinado durante o curso, esse exercício é uma valiosa intervenção para o desenvolvimento e habilitação profissional do médico. Dessa forma, as escolas médicas deveriam ajudar os alunos a compreender os princípios básicos dessas estratégias educacionais, oferecendo treinamento adequado e apoio institucional, incluindo a confidencialidade das informações.

Teste de progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina

O teste de progresso (TPMed) é uma avaliação cognitiva longitudinal com conteúdo final do curso, que tem por finalidade avaliar a instituição e o desempenho cognitivo dos estudantes. Atualmente, tem sido aplicado em diversas escolas médicas no mundo e no Brasil. A Universidade Estadual de Londrina (UEL) implantou esse teste em 1998. Este trabalho apresenta a experiência da UEL na implementação do TPMed como um instrumento de avaliação do curso e alguns resultados desse período: houve aumento na participação dos estudantes para realizar o teste; o desempenho cognitivo dos estudantes apresentou aumento de uma série para outra em cada teste; a média de acertos nas áreas de Clínica Médica foi menor na quinta série, no oitavo e nono TPMed; na Saúde Coletiva, houve alto percentual de acerto nas duas primeiras séries. Tais resultados refletem a estrutura curricular, bem como as potencialidades e fragilidades do curso. O teste de progresso é um bom indicador do processo de auto-avaliação do curso, mas ainda necessita de aprofundamento nos estudos de técnicas de análise dos resultados, para permitir estimar o crescimento cognitivo dos estudantes.

A avaliação no contexto da formação médica brasileira

Este artigo tem por objetivo aprofundar a discussão acerca da avaliação no ensino superior no contexto atual das escolas médicas brasileiras, com vistas a estimular a reflexão e a discussão de todos aqueles que de uma forma ou de outra estejam envolvidos no processo educativo. Entendemos que pesquisas a respeito da temática nos permitem repensar práticas e construir propostas mais participativas, voltadas aos processos, considerando a própria experiência, as diversidades e a complexidade da instituição. Discute-se, portanto, o processo autoavaliativo, ético e responsável, para que a instituição de ensino médico possa fazer uma reflexão crítica e participativa sobre suas ações, conhecer seu efetivo papel no engajamento com a comunidade e sua verdadeira contribuição para o seu desenvolvimento. Pretende-se explicitar a avaliação como força transformadora, que considera a relação mútua existente entre os aspectos qualitativos e quantitativos, a natureza da relação pedagógica e os objetivos que se propõe a alcançar, tendo em vista a complexidade e o dinamismo do processo de ensino.

Tendências de mudanças em um grupo de escolas médicas brasileiras

Realizado com um grupo de 28 escolas médicas brasileiras, este estudo mostra as tendências de mudanças para atender às Diretrizes Curriculares Nacionais (DCN) com perspectiva de consolidação do Sistema Único de Saúde (SUS). Faz parte do primeiro momento do projeto de avaliação de tendências de mudanças nos cursos de graduação das escolas médicas brasileiras, da Comissão de Avaliação das Escolas Médicas da Associação Brasileira de Educação Médica (Caem/Abem). As escolas responderam ao instrumento de pesquisa oferecido para sua auto-avaliação segundo a metodologia proposta, com resultados que mostram a percepção do curso como um todo na inter-relação de cinco eixos: Mundo do Trabalho, Projeto Pedagógico, Abordagem Pedagógica, Cenários da Prática e Desenvolvimento Docente. A maioria das escolas deste grupo (75%), na percepção de seus atores sociais, apresenta tipologia avançada e inovadora com tendência avançada para as transformações preconizadas no setor saúde. O eixo Desenvolvimento Docente mostra avanços menores em relação aos demais, o que sinaliza, neste momento do processo, um descompasso na dinâmica das ações para consolidar as mudanças. Demonstra a necessidade de aprofundar o estudo com o desenvolvimento dos processos avaliativos, que requer a construção de indicadores qualitativos e quantitativos capazes de auxiliar a identificação, o acompanhamento e a efetivação das mudanças.

Abordagens pedagógicas e tendências de mudanças nas escolas médicas

A Abem, por intermédio da Caem, toma a iniciativa de promover a avaliação das tendências de mudanças nas escolas médicas brasileiras, tendo por objetivo impulsionar a construção de um processo avaliativo, que, além de diagnosticar o momento das escolas, permita auxiliar e acompanhar a evolução das mudanças, sem perder de vista o objetivo de melhorar a qualidade da assistência prestada à saúde da população brasileira. Este projeto conta com um instrumento que apresenta 17 vetores distribuídos em cinco eixos relevantes na formação do médico. Um destes é o das Abordagens Pedagógicas, que abrange métodos de construção e acompanhamento do processo pedagógico, buscando identificar a tendência do processo de ensino-aprendizagem, avaliativo e de orientação didático-pedagógica, verificando se é mais centrada no professor ou no estudante, com uso ou não de tutorias. Cada escola pôde se classificar como tradicional, inovadora ou avançada, de acordo com as alternativas para cada vetor que compõe o eixo.

Construção de indicadores qualitativos para avaliação de mudanças

Apresenta-se uma reflexão teórico-metodológica focada na construção de indicadores qualitativos, voltados principalmente para a avaliação de mudanças no campo educacional. Foi escrito para subsidiar o processo de autoavaliação de um conjunto de escolas médicas que desenvolvem um programa de transformação de seus métodos tradicionais para outros fundamentados na filosofia e na prática de aprendizagem ativa. Nele são discutidos e problematizados: o conceito de indicador; a produção de indicadores para pesquisa avaliativa e a construção de indicadores qualitativos. Esses últimos são tratados sob duas formas mais frequentes: dentro da lógica quantitativa e da lógica qualitativa. Indicadores qualitativos a partir da visão quantitativa da realidade são construídos principalmente por meio de escalas. Dentro da ótica qualitativa, são elaborados a partir das representações e práticas dos sujeitos envolvidos na investigação. Enfatizando a necessidade de produção de indicadores de mudança que levem em conta estruturas, processos, relações e a contribuição da subjetividade, conclui-se que a validade interna desses indicadores pode ser alcançada quando as categorias empregadas em sua construção são fundamentadas teórica e contextualmente e possuem significados mútuos e partilhados entre os participantes.

Conceito e avaliação de habilidades e competência na educação médica: percepções atuais dos especialistas

As Diretrizes Curriculares Nacionais (DCN) para cursos de Medicina orientam mudanças nos currículos e processos de ensino-aprendizagem-avaliação para desenvolvimento de competências e habilidades profissionais. O presente trabalho, iniciativa da Associação Brasileira de Educação Médica (Abem), investiga os significados e a apropriação da noção de competência por estudiosos da avaliação educacional na medicina. Foram realizadas dez entrevistas mediante roteiro com questões abertas e respondentes selecionados a partir de sua produção acadêmica sobre o assunto. Suas narrativas foram submetidas a análise de conteúdo mediante análise temática. Os resultados enfocam o significado da competência, o papel dos sujeitos e do contexto na construção da competência e a relação entre avaliação de competência e construção da integralidade em saúde. Observa-se que, embora de modos heterogêneos, o conceito de competência tem sido apropriado de modo fértil pelos especialistas brasileiros. No entanto, o estudo sugere que a consolidação de uma "cultura de avaliação" nas escolas médicas demandará investimentos em núcleos de estudo e pesquisa para aprofundamento de conceitos, objetivos, seleção de conteúdos, pactuação de critérios, elaboração de instrumentos e treinamento de avaliadores nas instituições brasileiras.

O ensino da Semiologia nas escolas médicas do Estado do Rio de Janeiro

Com o objetivo de caracterizar o ensino da Semiologia Médica no Estado do Rio de Janeiro, pesquisamos 14 cursos de graduação, sendo 11 privados e 3 públicos. Mediante abordagem quantitativa e qualitativa, os dados foram obtidos por meio de análise documental dos programas de ensino, aplicação de formulário e entrevista aos coordenadores das disciplinas. Foi observada semelhança entre os objetivos e conteúdos de Semiologia das diferentes escolas de Medicina, apesar de existir diversificação na denominação, inserção curricular e carga horária. As estratégias de ensino-aprendizagem, os recursos didáticos e a avaliação também mostraram especificidade segundo a instituição. A falta de padronização do ensino prático da Semiotécnica foi considerada uma das principais dificuldades, assim como a escassa disponibilidade de cenários de aprendizagem e de integração entre docência, assistência e pesquisa.

Avaliação do crescimento cognitivo do estudante de Medicina: aplicação do teste de equalização no Teste de Progresso

O desenvolvimento cognitivo é avaliado, geralmente, por meio de testes objetivos, e o Teste de Progresso (TPMed) é um dos métodos que as escolas médicas utilizam. A comparação dos resultados é possível com a equalização dos testes. Este trabalho avaliou o desenvolvimento cognitivo dos estudantes de Medicina de uma universidade estadual através da análise dos TPMed no período de 2004 a 2007, que foram equalizados para estimar o progresso dos estudantes durante o curso. A metodologia foi pesquisa-ação e aplicaram-se os métodos para equiparação dos testes, Teoria Clássica dos Testes (TCT) e Teoria de Resposta ao Item (TRI), seguidos pelo método linear por meio do teste de ancoragem para grupos não equivalentes. Observou-se uma média de acerto de 36,9% e 64,4% na primeira e sexta séries, respectivamente. A análise dos resultados baseou-se na psicometria e realizou-se a equiparação dos testes pela TCT, pela impossibilidade de aplicar a TRI. O alfa de Cronbach mostrou alta consistência interna dos testes, e os índices de dificuldade e discriminação dos itens mostraram boa evolução do nível das questões. O crescimento cognitivo dos estudantes de Medicina foi evidente em todos os TPMed.

Tutoria em escola médica: avaliação por discentes após seu término e ao final do curso

Na Faculdade de Medicina da UFMG, a tutoria, no formato mentoring, vincula-se ao Núcleo de Apoio Psicopedagógico ao Estudante e é atividade obrigatória. Como em outras escolas médicas, propõe ser um espaço de acolhimento ao estudante no início do ciclo profissional. O objetivo deste trabalho é avaliar, na visão do estudante, a relevância da tutoria em sua formação e as características comuns aos vários grupos. Foram aplicados questionários com perguntas fechadas e abertas aos estudantes do 6º, 11º e 12º períodos do curso médico, com análise descritiva dos resultados quantitativos e análise de conteúdo das questões abertas. Participaram da pesquisa 81% dos estudantes do sexto período e 51% do sexto ano. Houve controvérsia sobre a relevância da atividade, muitas vezes relacionada com obrigatoriedade e inadequação dos tutores, imediatamente após a mesma e ao final do curso. A necessidade de espaço para discutir temas não relacionados com a formação médica puramente técnica também foi salientada. Numa perspectiva geral, a tutoria é atividade importante no quadro curricular, mas é urgente aprimorar o programa, a seleção e a formação dos tutores.

Avaliação do conhecimento da ética médica dos graduandos de medicina

INTRODUÇÃO: Várias escolas de Medicina do País criaram disciplinas para o ensino de Ética Médica, mas o impacto dessa intervenção não tem sido claramente questionado. OBJETIVO: Mensurar o conhecimento referente ao tema Ética Médica adquirido pelos alunos do curso de Medicina da Faculdade de Medicina de São José do Rio Preto (Famerp). MÉTODOS: Trata-se de estudo transversal descritivo. Os graduandos do ano letivo de 2012 responderam a um questionário autoaplicável com 12 questões objetivas, com três opções (verdadeiro, falso, desconhece), elaboradas com base no Código de Ética Médica (CEM). Os dados foram analisados com auxílio da estatística descritiva e inferencial; consideraram-se significantes valores de p ≤ 0,05. RESULTADOS: Dos 387 alunos, 251 responderam ao questionário (64,9%). Houve nítida evolução de conhecimento da primeira para a quarta série, porém, a partir da quarta série, houve estagnação do conhecimento. Além da estagnação observada, houve baixa taxa de acertos na sexta série (56,2%), apesar de ter sido a mais alta. CONCLUSÃO: Há necessidade do ensino formal da Ética Médica durante todos os anos da graduação, já que o modelo atual, com ensino apenas na terceira série, se mostrou ineficaz.

Percepções e Sentimentos de Professores de Medicina frente à Avaliação dos Estudantes – um Processo Solitário

Introdução O processo de avaliação formativa nas escolas médicas envolve o professor na observação direta do desempenho do estudante. Esta avaliação gera desconforto e angústia para alguns professores, na tentativa de serem justos e imparciais. Este trabalho tem por objetivos identificar as dificuldades na avaliação dos estudantes de Medicina, conhecer os sentimentos, conceitos e crenças dos professores frente ao processo e identificar os fatores que dificultam e facilitam esta avaliação. Método Foram conduzidos três Grupos Focais com professores do Departamento de Pediatria da Faculdade de Medicina da Universidade Federal de Minas Gerais estratificados por tempo de docência e classificados quanto a gênero, titulação e categoria funcional. As reuniões tiveram uma moderadora auxiliada pelo pesquisador, duraram entre 90 e 120 minutos e terminaram quando ocorreu a saturação do tema. Toda a discussão foi transcrita e rendeu 118 páginas, que foram submetidas à análise de conteúdo. Resultados O discurso foi categorizado em cinco grandes temas: dificuldade da avaliação de habilidade clínica e atitudes; relação professor-aluno; sentimentos vivenciados pelos docentes durante a avaliação; fatores facilitadores; necessidade de mudanças. Conclusões Os docentes sentem falta de objetivos bem definidos e instrumentos avaliativos específicos. Reconhecem a necessidade de melhores conhecimentos pedagógicos e considera a avaliação formativa uma situação solitária, com pouco respaldo da instituição.

Estruturação de Sistemas para Avaliação Programática do Estudante de Medicina

RESUMO A avaliação do estudante compreende processos de obtenção de informações sobre o seu desempenho em diferentes domínios e cumpre três funções principais: fomentar o aprendizado (avaliação formativa), embasar decisões sobre o seu progresso (avaliação somativa) e contribuir para o controle da qualidade da sua formação (avaliação informativa). A avaliação programática constitui uma forma inovadora de praticar os procedimentos avaliativos para que cumpram bem suas funções. Neste ensaio, apresentam-se conceitos sobre: diferentes funções da avaliação do estudante, atributos que conferem qualidade aos métodos de avaliação, justificativas para a estruturação de sistemas de avaliação programática e metas e características desejáveis nestes sistemas (centralização, institucionalização, uniformização, abrangência, integração). Sugere-se um modo de configuração de um sistema de avaliação programática do estudante de Medicina e descrevem-se possíveis ações para cumprir suas finalidades. Discutem-se também as dificuldades previsíveis na sua implantação e como podem ser enfrentadas. Espera-se que os conteúdos discutidos neste ensaio contribuam para aumentar o conhecimento dos profissionais envolvidos na avaliação educacional e para influenciar as escolas médicas no sentido de estruturar sistemas efetivos de avaliação programática do estudante.