Novos paradigmas para avaliação da qualidade da informação em saúde recuperada na Web

A revolução nos paradigmas de produção do conhecimento e as implicações na qualidade de informação disponibilizadas na World Wide Web (Web) são analisadas. Apresentam-se as questões relacionadas com os critérios de avaliação da qualidade da informação em saúde recuperadas na Web, com ênfase naqueles definidos pela Agency for Health Care Policy and Research (AHCPR), do Health Information Technology Institute (Hiti). Destacam-se os estudos e as iniciativas internacionais desenvolvidas com o objetivo de avaliar, controlar a assegurar a qualidade da informação em saúde na Web e as propostas de instituições brasileiras quanto a esta questão.

PAQ - Programa de avaliação da qualidade de produtos e serviços de informação: uma experiência no SIBi/USP

Descreve a experiência de implantação do Programa de Avaliação da Qualidade dos Produtos e Serviços (PAQ) do Sistema Integrado de Biblioteca da Universidade de São Paulo (SIBi/USP) e apresenta parte dos resultados obtidos na pesquisa. Baseados no modelo SERVQUAL, foram elaborados cinco diferentes questionários, enfocando as dimensões receptividade, empatia, confiabilidade, garantia e tangibilidade, utilizando-se escalas para a indicação do grau de importância e de satisfação do usuário para os itens apontados. A entrevista foi aplicada a um número acidental de usuários, durante uma semana. A análise dos questionários e das entrevistas apontou doze indicadores comuns nos dois métodos de abordagem. São apresentadas as principais recomendações para o aperfeiçoamento da metodologia empregada no estudo, bem como os indicadores que poderão ser incluídos nas próximas etapas do programa.

Uma proposta metodológica para avaliação de bibliotecas digitais: usabilidade e comportamento de busca por informação na Biblioteca Digital da PUC-Minas

Atualmente, com o desenvolvimento da Internet, novos sistemas e fontes de informação têm sido criados, colocando o usuário em um novo contexto de busca por informação. Diante disso, autores da ciência da informação e da ciência da computação têm se dedicado a estudos sobre a interação dos usuários com os sistemas neste novo ambiente. Este artigo apresenta uma pesquisa realizada no curso de Mestrado da Escola de Ciência da Informação da Universidade Federal de Minas Gerais (UFMG), que propõe que os estudos das duas áreas sejam usados conjuntamente, complementando-se, com o intuito de se analisar de forma abrangente um sistema de informação. Para teste da metodologia proposta, foi usada a Biblioteca Digital da PUC-Minas (BDP). A metodologia é composta por cinco etapas: (1)questionário sobre o contexto do usuário; (2) teste de usabilidade em laboratório; (3) questionário de satisfação; (4) estudo do comportamento de busca dos usuários através do teste com busca livre; (5) análise do log. Por fim, algumas conclusões são apresentadas sobre a aplicação da metodologia proposta.

Avaliação do uso do Serviço Brasileiro de Respostas Técnicas: um serviço de informação destinada à microempresa brasileira

O artigo aborda as necessidades de informação do setor produtivo sob a ótica de um serviço de informação tecnológica destinado ao micro e pequeno empresário, o Serviço Brasileiro de Respostas Técnicas (SBRT), fruto do esforço compartilhado entre governo, instituições de pesquisa, universidades e iniciativa privada. Realizou-se uma pesquisa descritiva exploratória, com aplicação de questionário aos clientes de uma das instituições membros da rede SBRT, o Centro de Desenvolvimento Científico e Tecnológico da Universidade de Brasília (CDT/UnB). Os resultados demonstraram que o serviço está sendo mais amplamente utilizado por pessoas físicas (92%), empreendedores em "busca de novos negócios". Essa foi a resposta de 35% dos usuários sobre sua motivação para utilizar o serviço. A aplicação das soluções tecnológicas fornecidas pelo SBRT tem se dado mais fortemente na melhoria de processos e produção (54%).

Modelagem e avaliação de um sistema modular para gerenciamento de informação na Web

O gerenciamento de informação pode ser identificado como desafio crucial, sobretudo no tocante aos conteúdos de websites e sistemas de informação em ambiente web. Assim, o desenvolvimento de meios e métodos para gerenciamento de conteúdos é tema deste artigo, o qual objetiva, através de um relato de aplicação de pesquisa participativa, apresentar a descrição funcional de um sistema modular para gerenciamento de conteúdos em ambiente web. São discutidos aspectos relacionados com o desenvolvimento do sistema e sua aplicação em 28 websites. Adicionalmente, é apresentada uma avaliação quantitativa com base na satisfação, facilidade de uso percebida, freqüência de uso e importância dos módulos que o compõem. Entre os principais resultados, aponta-se a evidência da flexibilidade da proposta modular e a constatação de que os gestores se mostraram satisfeitos com o sistema, não apresentando dificuldade de uso e obtendo resultados positivos com o uso da ferramenta.

Análise do Sistema de Informação do Programa de Controle do Câncer de Mama (SISMAMA) mediante avaliação de 1.000 exames nas cidades de Barra Mansa e Volta Redonda

OBJETIVO: Fazer uma análise do Sistema de Informação do Programa de Controle do Câncer de Mama (SIS-MAMA), implantado em 2009 pelo Ministério da Saúde. MATERIAIS E MÉTODOS: Tratou-se de um estudo retrospectivo, feito mediante análise de 1.000 fichas de requisição e resultado de mamografias realizadas pelo Sistema Único de Saúde (SUS) nos municípios participantes desta pesquisa, no período de tempo compreendido entre agosto e outubro de 2009. Foram analisados a qualidade das informações enviadas através do processamento desses dados e os desvios gerados pelo não preenchimento ou pelo inadequado preenchimento dos dados nessas fichas. RESULTADOS: O problema mais frequentemente encontrado foi a omissão de dados nas fichas, principalmente no quesito cirurgias anteriores, constatando-se 302 omissões (30,2%). CONCLUSÃO: Apesar do Sistema necessitar de alguns ajustes, pelo lapso temporal transcorrido entre sua criação até sua implementação, esses ajustes não afetam diretamente a validade do Sistema, encontrando-se como principal fator de erros na alimentação do banco de dados do Ministério da Saúde o não preenchimento de informações relevantes para o fechamento dos laudos, e a falta de familiarização e capacitação dos profissionais envolvidos nesse processo e no repasse de dados do resultado da mamografia.

Avaliando competência clínica: o método de avaliação estruturada observacional

Apesar dos avanços tecnológicos, a história médica, o exame físico e a relação médico-paciente continuam as mais importantes ferramentas diagnósticas e terapêuticas. No entanto, deficiências em habilidades clínicas entre alunos têm sido relatadas. Competência clínica deve ser considerada não apenas a demonstração de comportamentos isolados, mas, sim, a habilidade integrada de pensar, sentir e agir na prática real, um determinado contexto. Por isso, ferramentas de observação direta são bastante úteis para avaliar o que os estudantes fazem ou deixam de fazer durante as consultas. O instrumento de avaliação estruturada parece ser adequado tanto para os avaliadores quanto para os avaliados, uma vez que pode ser usado como um guia de observação e também como uma ferramenta de feedback, ampliando as oportunidades de aprendizagem no cenário clínico. Para que esse instrumento seja aplicado de forma eficaz, justa e confiável, os avaliadores precisam ser adequadamente preparados.

Conceito global: um método de avaliação de competência clínica

Muito se tem feito para desenvolver métodos que avaliem de forma confiável a proficiência em habilidade clínica dos alunos de graduação médica. Há fortes evidências de que a avaliação global pode ser uma alternativa viável e confiável na avaliação de estudantes de graduação no ambiente clínico. Rotineiramente, a competência clínica tem sido avaliada pelos docentes por meio de um conceito subjetivo. Essa nota, dada por um especialista, não é objetiva e está sujeita a vieses. O uso de um instrumento bem delineado, com diversos itens pontuados numa escala, oferece a vantagem de especificar o que deve ser avaliado, auxiliando os avaliadores a distinguir os diferentes níveis do desempenho. Usando este método, os docentes podem expressar sua percepção global dos alunos, de forma mais objetiva, em relação a duas esferas distintas da competência: técnica (contendo itens como história clínica, exame físico, conhecimento médico, julgamento clínico, solução de problemas e hábitos no trabalho) e humanista (incluindo comunicação com pacientes e familiares, respeito, habilidades reflexivas, sensibilidade ao contexto e trabalho em equipe).

Avaliação de competência clínica em estudantes de medicina pelo Miniexercício Clínico Avaliativo (Miniex)

A avaliação de competências clínicas constitui etapa essencial na formação do estudante de Medicina e deve ser feita pela observação direta do desempenho em situação real. Este trabalho objetiva determinar a confiabilidade e a consistência interna do Miniexercício Clínico Avaliativo (Miniex), instrumento de avaliação de competências clínicas que consiste na observação feita pelo professor em uma consulta focada, realizada pelo interno, no ambiente de trabalho. Ao final da consulta, o docente conversa com o estudante sobre suas falhas e acertos, configurando a avaliação formativa. Foram produzidos 12 vídeos que mostram o desempenho de estudantes em atendimento a pacientes na Enfermaria de Pediatria do Hospital das Clínicas da UFMG. Vinte quatro professores do Departamento de Pediatria com média de 25 anos de docência assistiram individualmente aos filmes, pontuando os itens da competência pelo Miniex. O Coeficiente de Correlação Intraclasse foi de 0,71 com IC de 95%, e o Coeficiente Alfa de Cronbach, 0,84, indicando boa confiabilidade e consistência interna do Miniex. O escore de satisfação com o instrumento foi de 7,5 para os docentes e 8,3 para os internos numa escala de 9 pontos. Os achados recomendam prosseguir os estudos para avaliar os critérios de validade e exequibilidade do Miniex.

Competência clínica de alunos de Medicina em estágio clínico: comparação entre métodos de avaliação

OBJETIVO: Comparar quatro métodos de avaliação com base nas notas obtidas por alunos do quarto ano de Medicina em estágio clínico. MÉTODO: Ao final do estágio clínico em Ginecologia e Obstetrícia, Clínica Médica e Pediatria, em unidades de atenção primária, 106 alunos do quarto ano foram avaliados com base em quatro métodos: Prova Teórica (Pt), Portfólio (Pf), Avaliação Estruturada do Atendimento Clínico (AE) e Conceito Global Itemizado (CGI), (escala 0-10). A análise estatística utilizou coeficiente alfa de Cronbach, teste de Wilcoxon para dados pareados, coeficiente de correlação de Pearson, análise de componentes principais e distância euclidiana. RESULTADOS: As medianas mais baixas foram de PT, e as mais altas, de AE. Houve diferença significativa nas distribuições das notas entre todos os pares de métodos (P < 0,001). A correlação mais forte e a maior concordância ocorreram entre as notas de AE e CGI. A análise de componentes principais contrastou as notas de Pt e Pf com as de AE e CGI. CONCLUSÃO: Cada método parece enfocar diferentes aspectos da competência clínica. AE e CGI parecem avaliar competências semelhantes, em oposição a Pf e Pt. Portanto, nenhum método deve ser utilizado isoladamente para avaliar os alunos em estágio clínico.

Conceito e avaliação de habilidades e competência na educação médica: percepções atuais dos especialistas

As Diretrizes Curriculares Nacionais (DCN) para cursos de Medicina orientam mudanças nos currículos e processos de ensino-aprendizagem-avaliação para desenvolvimento de competências e habilidades profissionais. O presente trabalho, iniciativa da Associação Brasileira de Educação Médica (Abem), investiga os significados e a apropriação da noção de competência por estudiosos da avaliação educacional na medicina. Foram realizadas dez entrevistas mediante roteiro com questões abertas e respondentes selecionados a partir de sua produção acadêmica sobre o assunto. Suas narrativas foram submetidas a análise de conteúdo mediante análise temática. Os resultados enfocam o significado da competência, o papel dos sujeitos e do contexto na construção da competência e a relação entre avaliação de competência e construção da integralidade em saúde. Observa-se que, embora de modos heterogêneos, o conceito de competência tem sido apropriado de modo fértil pelos especialistas brasileiros. No entanto, o estudo sugere que a consolidação de uma "cultura de avaliação" nas escolas médicas demandará investimentos em núcleos de estudo e pesquisa para aprofundamento de conceitos, objetivos, seleção de conteúdos, pactuação de critérios, elaboração de instrumentos e treinamento de avaliadores nas instituições brasileiras.

Indicadores de avaliação do cuidado individual: subsídios para a formação médica orientada por competência

No processo de formação dos profissionais da área da saúde, as DCN orientam a organização de um modelo curricular pautado no desenvolvimento de competência profissional. Foi realizado um estudo descritivo com abordagem qualitativa, desenvolvido por meio de conferência de consenso, com o objetivo de elaborar indicadores para avaliar o processo de ensino-aprendizagem na área de cuidado individual. Uma matriz foi organizada com base nos desempenhos contidos nos manuais de cada série e formatos de avaliação. Em seguida, os avaliadores analisaram esta matriz e a discutiram na conferência de consenso, para a consolidação dos indicadores. A análise dos resultados permitiu olhar para as ações desenvolvidas no curso a partir da compreensão de que, durante essas atividades, os estudantes têm a oportunidade de realizar o cuidado na perspectiva da integralidade, como preconizado no Sistema Único de Saúde e nas DCN. Dessa maneira, foram construídos indicadores relacionados a história clínica, exame físico e raciocínio clínico para o monitoramento do processo de ensino-aprendizagem. No contexto do currículo orientado por competência, esses indicadores podem nortear o processo de planejamento educacional, bem como permitir a participação ativa e a corresponsabilidade dos envolvidos para o alcance de uma aprendizagem significativa, que permita ao futuro profissional a realização de um cuidado qualificado em saúde.

Adaptação para o português de questionário de avaliação da informação científica em saúde na imprensa (Index of Scientific Quality)

OBJETIVO: Adaptação para a língua portuguesa e avaliação da aplicabilidade do questionário Index of Scientific Quality (ISQ) em textos sobre saúde da mulher, apresentados por revistas brasileiras. MÉTODOS: O estudo é de corte transversal. Foram coletados textos publicados entre agosto de 2005 e julho de 2006 nas principais revistas semanais: Veja, Época e Isto É. O questionário utilizado possui oito itens, que variam de um a cinco, e medem a aplicabilidade, o grau de opinião, a validade e o alcance da descoberta, precisão, coerência e consequência dos dados, além de um item global, que resume os outros itens. O ISQ foi traduzido, retrotraduzido e submetido à prova piloto até a versão definitiva, utilizada por dois médicos e dois jornalistas. Após a análise dos textos, foi verificada a consistência interna dos itens do questionário pelo coeficiente alfa de Cronbach e a concordância inter e intraobservador para cada item por meio do índice Kappa. RESULTADOS: A amostra conteve 80 textos. A consistência interna dos itens variou entre 0,81 e 0,96. A concordância interavaliadores foi de -0,03 a 0,48 e a intraobservador variou entre 0,27 e 0,34. (IC 95%). CONCLUSÃO: Os itens do questionário mensuraram de forma adequada a qualidade científica, porém a baixa concordância inter e intraobservadores indica a necessidade de novos estudos para se avaliar a versão brasileira do ISQ.

Porque a competência pedagógica conta : o reforço do papel da avaliação dos docentes na estratégia de desenvolvimento de um faculdade de medicina

“Poor teaching performance is tolerated, whereas poor quality in research or substandard patient care is not. It is time to professionalize teaching and education” (Steinert, 2005). A Faculdade de Medicina da Universidade de Coimbra (FMUC) é uma escola médica clássica, sem qualquer tradição na avaliação do ensino e com uma considerável resistência à introdução de mecanismos de auditoria de qualidade. Com o objectivo de contribuir para ultrapassar estas dificuldades, o regente da disciplina de Fisiopatologia, e membro do Departamento de Educação Médica (DEM) da FMUC, aplicou um questionário nessa disciplina. Este questionário foi concebido para cobrir dimensões relevantes na avaliação da qualidade de ensino: objectivos; conteúdos; materiais; métodos de ensino; instrumentos de avaliação; apresentação e preparação da aula. Foi pedido aos alunos que respondessem ao questionário no fim de cada aula teórica e cada aula teórico-prática. Foi recolhido um total de 2401 questionários (aulas teóricas=1210; aulas teórico-práticas= 1191). Os resultados são discutidos em termos das suas implicações para o desenvolvimento do pessoal docente, das políticas da Escola e para a promoção da qualidade de ensino, como uma contribuição tendente ao estabelecimento de um clima institucional que encoraje a liderança educacional, a inovação e a excelência.

A reconstrução da realidade com a informação digital : a emergência da dupla competência sociológica

As possibilidades das metodologias informacionais para a Sociologia tornam-se problemáticas, pois ela se encontra imersa na sociedade do conhecimento, cuja novidade principal é a de que a informação está envolvida numa estruturação reflexiva e comunicacional. As metodologias de pesquisa do conhecimento sociológico, vinculadas ao mundo da informação digital computável, implicam desafios, sobretudo diante das novas modulagens relacionadas à produção e à descoberta de conhecimentos suportados por computadores. O mundo sociológico apresenta-se, cada vez mais, conectado à reflexividade do conhecimento, assim, a decifração da esfinge informacional pode vir a ser uma grande contribuição da Sociologia à compreensão tanto da produção do conhecimento dessa área, como da vida social contemporânea. Urge, nesse sentido, que a Sociologia caminhe em direção à dupla competência sociológica (Sociologia e Informática) para a formação dos novos cientistas e pesquisadores sociais. O objetivo principal desta tese é verificar a situação da atual interface entre os(as) sociólogos(as) brasileiros(as) e a Informática. Busca-se, também, identificar as implicações metodológicas advindas da interface entre Informática e Sociologia na produção do saber acadêmico, assim como apontar algumas perspectivas desafiadoras para a dupla competência sociológica tanto no tocante à investigação como à produção do seu próprio saber. Inicia-se com parte da história da informação digital, especificando-se e precisando-se seu conceito. Metodologicamente, realizou-se uma pesquisa em nível nacional, através da Internet, visando-se identificar o impacto da Informática na produção do conhecimento sociológico no Brasil. Para tanto, utilizaram-se um programa questionário (software criado para esta tese) e recursos de banco de dados relacionais. Pergunta-se se a adoção de múltiplos procedimentos da informação computada está ou não permitindo a superação das velhas antinomias do tratamento informacional e afirmando um novo padrão de produção e de trabalho científico que se poderia denominar sociologia informacional. Quer-se, assim, afirmar que, diferentemente dos artefatos e instrumentos de elevada amplificação muscular e/ou apenas sensória, a informação digital computável potencializa mais efetivamente a amplificação lógico-cognitiva como o compartilhamento de memória de longo prazo, a integração de suportes recursivos sobre inferência numéricas ou miméticas, a recuperação parametrizada de dados e informações, o compartilhamento de cenários analíticos de simulações e o apoio a descobertas de conhecimento sociológico.