PAQ - Programa de avaliação da qualidade de produtos e serviços de informação: uma experiência no SIBi/USP

Descreve a experiência de implantação do Programa de Avaliação da Qualidade dos Produtos e Serviços (PAQ) do Sistema Integrado de Biblioteca da Universidade de São Paulo (SIBi/USP) e apresenta parte dos resultados obtidos na pesquisa. Baseados no modelo SERVQUAL, foram elaborados cinco diferentes questionários, enfocando as dimensões receptividade, empatia, confiabilidade, garantia e tangibilidade, utilizando-se escalas para a indicação do grau de importância e de satisfação do usuário para os itens apontados. A entrevista foi aplicada a um número acidental de usuários, durante uma semana. A análise dos questionários e das entrevistas apontou doze indicadores comuns nos dois métodos de abordagem. São apresentadas as principais recomendações para o aperfeiçoamento da metodologia empregada no estudo, bem como os indicadores que poderão ser incluídos nas próximas etapas do programa.

Impacto de um programa de avaliação da qualidade da imagem nos serviços de mamografia do Distrito Federal

OBJETIVO: Esta pesquisa visou a avaliar a qualidade dos serviços de mamografia do Distrito Federal e o impacto de uma intervenção de inspeção e capacitação. MATERIAIS E MÉTODOS: Foram estudados 41 serviços de mamografia no Distrito Federal no período de 2000 a 2002. A intervenção consistiu na inspeção inicial seguida de um treinamento e notificação oficial da Vigilância Sanitária. Os resultados de qualidade da imagem foram comparados "antes" e "depois" da intervenção. RESULTADOS: O estudo demonstrou que dos 36 serviços que completaram a pesquisa, nenhum estava acima de 90% de conformidade antes da intervenção. Após a intervenção, dez unidades atingiram mais de 90%. As principais melhorias foram em relação aos chassis, compressão da mama e visualização de microcalcificações. CONCLUSÃO: Apesar de o Distrito Federal dispor de muitos serviços, na sua maioria não eram de qualidade. A intervenção foi eficaz para a melhoria da qualidade, porém, torna-se necessária uma ação continuada para resolver os problemas restantes e aumentar o impacto.

Avaliação seriada versus exame vestibular: semelhanças e diferenças entre Coortes no Curso de Medicina da Universidade de Brasília

O propósito deste estudo retrospectivo foi avaliar o impacto do processo de avaliação seriada, em comparação com exame vestibular, em termos de efeitos no perfil de atributos e de progresso acadêmico de alunos da Universidade de Brasília. Os sujeitos foram 415 alunos (57,8% masculinos) registrados no Curso de Medicina após aprovação para ingresso mediante avaliação seriada, ou exame vestibular no primeiro ou segundo semestre, ao longo de seis anos (1999-2004). Foram comparados, entre os grupos de ingresso, os indicadores demográficos, de atitudes em face do aprendizado e de rendimento cognitivo no curso. Os resultados mostraram proporções significantemente maiores de alunos naturais do Distrito Federal e da faixa etária mais jovem no grupo da avaliação seriada. O índice de rendimento acadêmico manteve-se significativamente mais elevado nesse grupo desde o segundo ao nono período do curso. Análises estatísticas indicam que tal efeito reflete, além da forma e do ano de ingresso, outras diferenças nas características dos alunos, tais como sexo, idade e valoração do aprendizado. Os achados sugerem que a avaliação seriada privilegiou a aptidão acadêmica quanto ao rendimento cognitivo e alterou tendências na composição demográfica do alunado com efeitos no próprio rendimento estudantil.

Programa de Avaliação de Desempenho: elementos constitutivos e pressupostos na prática avaliativa

This study analyzes the perceptions of technical and administrative UFPA, in relation to the insertion of the components and assumptions of DBP in evaluation practice. Addresses the history, concepts, meanings, about AD methods, skills, evaluation skills, the APF and AD UFPA and Programme itself. The research is characterized as a hypothetical-deductive, descriptive and applied, using the case study. Data were analyzed using a quantitative approach, using the descriptive and inferential statistics. Data were collected through the application of questionnaires to 222 technical and administrative searched IFES, not occupants of FG and CD. The results indicate that the factors perceived in relation to the constituent elements such as: evaluation practice, measurement of competence, program management, timing, individual skills and fundamentals of the program and those related to assumptions such as: democratic process, integrative perspective, character development and pedagogical continuous evaluation practices are perceived in the evaluation process. The study concludes that comparing the results of the constituent elements and assumptions of the PAD of thechnical-administrative UFPA, it can be said about a tendency to change, though subtle, compared to the traditional model of AD, directed only to the granting of career progression for a new logic based on the results, showing an early effectiveness of the program evaluation practice by law and by the Institution. The results are confirmatory of advance evaluation practice in the institution, more so than has previously been expected, which demonstrates the value of scientific criteria of scientific research

Novas tendências de gestão pública : a implementação de um programa de avaliação e desenvolvimento de competências numa unidade de serviços partilhados

É hoje consensual, entre as várias correntes da gestão, que a obtenção de vantagens competitivas depende em grande medida das estratégias de gestão de recursos humanos. Orientada para os aspectos estratégicos, a gestão por competências surge como uma abordagem capaz de integrar os objectivos das organizações com os objectivos individuais. Simultaneamente, as novas tendências da gestão pública apontam para a necessidade de desenvolver processos conducentes à melhoria contínua dos serviços prestados, introduzindo um maior rigor na informação de gestão. São princípios subjacentes a estas novas tendências a necessidade de redução de custos, o aumento da produtividade, a normalização de processos e sistemas e o desenvolvimento de centros de competência e inovação. Neste trabalho, de natureza essencialmente empírica, pretendemos ilustrar o processo de concepção e implementação de um Programa de Avaliação e Desenvolvimento de Competências que foi desenvolvido para uma Unidade de Serviços Partilhados, no âmbito de uma organização pública. ABSTRACT: lt is actually consensual between several theoretical approaches that the attainment of competitive advantages depends on strategies of human resource management. Guided for strategic aspects, competencies’ management appears as an approach capable of integrating organizations and individual's goals. Simultaneously, the new trends of public administration point out the necessity of developing continuous improvement processes, introducing a higher quality in the management information. The necessity of costs reduction, the increase of the productivity and the normalization of processes and systems, as well the development of competencies centers and innovation, are underlying principles to these new trends. ln this empirical work we intend to illustrate the process of conception and implementation of a Program of Evaluation and Development of Competencies, developed for a Unit of Shared Services, in a public organization.

Educação e estratificação social no acesso à universidade pública

Este artigo analisa a nova forma de acesso à Universidade de Brasília, o Programa de Avaliação Seriada - PAS -, propondo-se a verificar se ele tem contribuído para minimizar a reprodução da estratificação social no ensino superior. O estudo baseia-se em informações colhidas mediante questionário em uma amostra de alunos ingressantes, via vestibular e via PAS, nos cursos considerados de maior prestígio social: Direito, Engenharia Civil e Medicina. Os dados foram analisados e comparados por meio de estatística descritiva. Os resultados permitiram constatar que a estratificação social no Brasil se reflete no acesso ao curso superior. O PAS, forma inovadora de selecionar candidatos para esse nível de ensino, mantém a estratificação social no acesso aos cursos universitários de maior prestígio social, constituindo uma nova via de ingresso, de forma rápida, ao ensino superior, para candidatos oriundos dos estratos socioeconômicos mais elevados.

Avaliação do impacto dos programas de transferência monetária condicionada na taxa de frequência escolar e labor infantil: o caso do Programa JUNTOS no Peru

Na presente dissertação tem como objetivo avaliar o impacto do programa JUNTOS sobre a taxa de freqüência escolar e sobre o trabalho infantil nas crianças de 6 a 14 anos. Estas duas variáveis foram selecionadas para o seu estudo, pois ao nosso entender estas são as principais variáveis que são influenciadas pelo programa JUNTOS e que tem uma influencia direta sobre o capital humano das crianças e assim sobre a diminuição da pobreza futura. As principais hipóteses derivadas das teorias de capital humano e de transferências de rendas condicionadas foram corroboradas pela nossa avaliação: (1) o programa JUNTOS tem um efeito positivo sobre o incremento da freqüência escolar, (2) o programa JUNTOS é efetivo na redução do trabalho infantil, (3) quando o chefe de família é de sexo feminino, a renda familiar é utilizada em bens e serviços em favor das crianças, e (4) o efeito do programa JUNTOS é maior nas crianças com piores características socioeconômicas (ex: menor renda familiar per capita, chefe de família com poucos anos de estudo, idioma do chefe de família, etc.) Outra conclusão importante da dissertação foi que o programa JUNTOS provoca uma realocação na oferta de trabalho intra familiar.

Avaliação de programas públicos: sistema de avaliação do Programa Nacional de Gestão Pública e Desburacratização aplicado na Marinha do Brasil: o caso do Programa Netuno

Este estudo busca elaborar um sistema de avaliação do Programa Netuno de gestão da Marinha do Brasil, com base na literatura existente sobre o assunto. A pesquisa bibliográfica tem início com as origens da Administração Pública Brasileira, passa pelas teorias influentes e analisa os instrumentos da administração gerencial que podem ser utilizados. Em seguida são apresentados os Programas GesPública do Governo Federal e Netuno da Marinha do Brasil e características da cultura organizacional militar que podem representar resistências ao processo de modernização da gestão. Também são descritos aspectos da avaliação de programas públicos e da teoria institucional que podem ser utilizados em processos de implementação de programas de gestão. Posteriormente, foram realizadas pesquisas em seis organizações que foram premiadas pelo Prêmio Qualidade do Governo Federal ao implementar o Programa GesPública. Com os dados levantados, foi elaborado um sistema de avaliação do Programa Netuno. Este, ao ser aplicado, identifica as resistências culturais existentes, verifica o cumprimento dos objetivos e identifica medidas para o aprimoramento da gestão nas organizações.

Implementação da avaliação 360º do residente no programa de residência médica em cardiologia e clínica médica do Hospital Universitário Onofre Lopes (HUOL).

A residência médica é uma modalidade de ensino de pós-graduação destinada a médicos, funciona em instituições de saúde, sob a orientação de profissionais médicos de elevada qualificação ética e profissional, sendo considerada o “padrão ouro” para a formação do especialista. A utilização do método de avaliação 360 graus na residência médica visa a avaliação integral dos médicos residentes, preenchendo lacunas que a avaliação cognitiva isolada deixa, quando utilizada como método único. Essa avaliação proporciona uma avaliação mais global do médico residente, já que inclui sua autoavaliação, avaliação pelos pares, pacientes e equipe de saúde. O objetivo deste estudo foi definir instrumentos de avaliação para implementar a avaliação 360 graus no programa de residência médica em cardiologia da UFRN e capacitar os docentes e preceptores do citado programa para avaliação de desempenho clínico do residente. Trata-se de estudo exploratório, prospectivo e descritivo, envolvendo quatro médicos residentes do programa de residência médica de cardiologia e 20 de clínica médica, esses durante o rodízio de cardiologia do programa de residência médica (PRM) em Cardiologia do Hospital Universitário Onofre Lopes (HUOL), além de 13 preceptores/docentes do PRM em Cardiologia do HUOL. Para implementação do novo modelo avaliativo na residência médica foram programadas três etapas, sendo a primeira a elaboração dos instrumentos de avaliação para a avaliação 360 grus; a segunda, o planejamento e a capacitação dos preceptores do PRM em Cardiologia do HUOL; e a terceira, o início das avaliações 360 graus dos residentes do PRM em Cardiologia e Clínica Médica, durante o período de janeiro de 2014 a março de 2015. Foram avaliados, no total, 24 residentes até o momento, sendo quatro residentes da cardiologia (três residentes do primeiro ano e um residente do segundo ano) e vinte residentes da clínica médica (sendo doze residentes do primeiro ano e oito residentes do segundo ano). Foram realizadas autoavaliações por oito residentes, sendo essas consideradas difíceis pela maioria dos residentes. A avaliação por pares foi realizada por 6 residentes, sendo o desempenho dos pares considerado acima do esperado em todos os itens da avaliação. A avaliação pela equipe de preceptores e equipe multiprofissional com feedback ao final das avaliações mostrou que os residentes de clínica médica do primeiro ano apresentam desempenho acima do esperado em relação ao humanismo, ética e profissionalismo, enquanto os do segundo ano apresentaram desempenho abaixo do esperado no item referente ao exame físico. Quanto aos demais domínios da avaliação todos estiveram dentro do esperado. Dez pacientes avaliaram os oito residentes, sendo tais avaliações positivas no sentido da qualidade da assistência prestada e das informações fornecidas pelos residentes. O método de avaliação 360 graus foi implementado na residência de cardiologia do Hospital Universitário Onofre Lopes da UFRN, tendo sido realizada em quatro residentes. A maioria dos preceptores e equipe multiprofissional da residência estão capacitados para utilização do método de avaliação.

Diálogos sobre a alfabetização, a leitura e a escrita no Programa Provinha Brasil

Esta pesquisa documental analisa as concepções de alfabetização, leitura e escrita subjacentes à Provinha Brasil no período 2008-2012 e o panorama em que esse programa de avaliação é produzido. Parte do referencial bakhtiniano e do conceito de alfabetização de Gontijo (2008, 2013). Ao tomar a Provinha como gênero do discurso, discute os elos precedentes dentro do contexto de produção dessa avaliação, a autoria do Programa e seus principais destinatários. Constata que a Provinha é criada como resposta às demandas de avaliação da alfabetização provenientes de organismos internacionais como o Banco Mundial e a Organização das Nações Unidas para a Educação (Unesco). A avaliação é elaborada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) como órgão que coordena as avaliações no País, em colaboração com pesquisadores de universidades e de organizações da sociedade civil, para demonstrar confiabilidade científica aliada à participação democrática no processo de produção. Seus principais destinatários são gestores de Secretarias de Educação e professores. Aos primeiros, cabe aderir ao programa de avaliação e tomar medidas administrativas para sua operacionalização nas redes. Os docentes têm o papel central de seguir as orientações do material e reorganizar sua prática em função de melhorias nos desempenhos das crianças no teste. Estas, por sua vez, são desconsideradas como sujeitos de dizeres e é legitimado um discurso homogeneizador sobre seu desenvolvimento. A partir dos testes aplicados e das matrizes de referência e seus eixos, a pesquisa analisa como a diferenciação teórica entre alfabetização e letramento se concretiza na organização das provas. A alfabetização, entendida como apropriação do sistema de escrita, é avaliada no primeiro eixo do teste principalmente como identificação de unidades menores da língua, como letras, sílabas e fonemas. As habilidades de leitura, ligadas ao letramento como concebido nos pressupostos do programa, são aferidas ora como decodificação de palavras e frases descontextualizadas, ora como apreensão de significado predeterminado do texto. A escrita somente é avaliada no ano de 2008 e por meio de itens que solicitavam codificação de palavras e frases ditadas pelo aplicador. Desse modo, a Provinha Brasil contribui para a subtração das potencialidades políticas e transformadoras do aprendizado da língua materna no País.

Avaliação da eficiência dos Centros de Educação e Alimentação do Pré-Escolar

São mostrados os resultados da avaliação da eficiência do programa CEAPE (Centro de Educação e Alimentação do Pré-Escolar), eficiência esta estimada por meio de sistema simplificado compatível com as infra-estruturas locais. A freqüência média do pré-escolar foi considerada alta, uma vez que as médias anuais de 56 Centros de Educação e Alimentação do Pré-Escolar (CEAPE) em andamento, esteve acima de 85% (87,4% em 1978, 89,7% em 1979). A freqüência média das "mães" dos pré-escolares também foi tida como alta, desde que 75% das unidades alcançaram mais de 90% de participação. A merenda servida não foi padronizada uma vez que ela foi assumida espontaneamente e extra-oficialmente pelas autoridades municipais; nestas condições seu valor calórico unitário variou de acordo com os recursos locais, entre 250 e 350 calorias e a média protéica esteve em torno de 13 gramas diárias. As atividades lúdicas sociais e cognitivas foram selecionadas e distribuídas equitativamente entre as diferentes áreas do desenvolvimento infantil o que foi conseguido com a aplicação de um "Plano Rotativo de Recreação Orientada". O programa CEAPE, mesmo sendo de modesta sofisticação, conseguiu alcançar desejável nível de eficiência em sua operacionalização.

Avaliação inicial dos efeitos psico-pedagógicos dos Centros de Educação e Alimentação do Pré-escolar

Foi avaliado o desenvolvimento sócio-psicomotor dos pré-escolares submetidos ao processo de recreação do Centro de Educação e Alimentação do Pré-escolar (CEAPE) quando comparados com um grupo controle da mesma comunidade, por meio de um Instrumento de Avaliação do Desenvolvimento do Pré-escolar (IADPE) organizado e pré-testado para este fim. Este instrumento mostrou-se sensível para avaliar as diferenças obtidas. Os pré-escolares foram também avaliados por uma "Escala de Comportamento". Tanto em uma avaliação fechada (IADPE) como numa avaliação mais influenciada por fatores subjetivos ("Escala"), revelaram-se diferenças significativas em favor das crianças que frequentavam o programa ("Ceapenses") em relação aos que não freqüentavam ("Não-Ceapenses"). Conjectura-se a provável ocorrência de dificuldades no processo de escolarização das crianças que não freqüentavam o programa.

Avaliação de um roteiro simplificado de observação de pré-escolares em programas Centro de Educação e Alimentação do Pré-Escolar

Foram entrevistados professores sobre as atitudes comportamentais com as quais eles espontaneamente analisaram o comportamento das crianças do Centro de Educação e Alimentação do Pré-Escolar (CEAPEs). Para isto foi organizado um instrumento de avaliação - ''Ficha de Observação" - composta de 15 ítens, a maioria claramente discriminável e alguns inferenciais. O objetivo do instrumento era substituir a observação aleatória, pessoal e não padronizada dos professores por um roteiro de observação, simplificado, de uso descentralizado cuja fidedignidade fosse conhecida. Os resultados da aplicação pelos professores, do roteiro simplificado em pré-escolares do CEAPE, foram comparados com aqueles de instrumentos de medição psico-pedagógica mais sofisticados aplicados por técnicos. Os dados obtidos reportam a hipótese de ordenação de resultados em função da idade mas alijam a hipótese de que em todos os grupos houve incrementos de resultados ao longo da freqüência no programa. Os resultados, ainda que preliminares, são promissores e a "Ficha de Observação", embora sendo um roteiro muito simplificado, pode oferecer informações significativas aos professores, além de dirigir mais sua atenção ao comportamento dos pré-escolares.