Promoting Evidence-informed Practice in Child Welfare in Ontario: Progress, Challenges and Future Directions.

Paper explores the findings from a province-wide program evaluation of Practice and Research Together (PART: www. partcanada.org); The paper is a unique evaluation of a knowledge exchange program and provides interesting analysis of how front-line practitioners, supervisors and senior leaders engage, utilize and contribute to evidence-informed practice.

Evaluation of a partnership between primary and secondary care providing an accessible Level 1 sexual health service in the community

Comprehensive testing for asymptomatic sexually transmitted infections in Northern Ireland has traditionally been provided by genitourinary medicine clinics. As patient demand for services has increased while budgets have remained limited, there has been increasing difficulty in accommodating this demand. In May 2013, the newly commissioned specialist Sexual Health service in the South Eastern Trust sought to pilot a new model of care working alongside a GP partnership of 12 practices. A training programme to enable GPs and practice nurses to deliver Level 1 sexual health care to heterosexual patients aged >16 years, in accordance with the standards of BASHH, was developed. A comprehensive care pathway and dedicated community health advisor supported this new model with close liaison between primary and secondary care. Testing for Chlamydia, gonorrhoea, HIV and syphilis was offered. The aims of the pilot were achieved, namely to provide accessible, cost-effective sexual health care within a framework of robust clinical governance. Furthermore, it uncovered a high positivity rate for Chlamydia, especially in young men attending their general practice, and demonstrated a high level of patient satisfaction. Moreover the capacity of secondary care to deliver Levels 2 and 3 services was increased.

‘Making it real’: evaluating the impact of service user and carer involvement in social work education

Service user and carer involvement (SUCI) in social work education in England is required by the profession’s regulator, the Health and Care Professions Council. However, a recent study of 83 HEIs in England reported that despite considerable progress in SUCI, there is no evidence that the learning derived from it is being transferred to social work practice. In this article we describe a study that examines the question: ‘What impact does SUCI have on the skills, knowledge and values of student social workers at the point of qualification and beyond?’ Students at universities in England and Northern Ireland completed online questionnaires and participated in focus groups, spanning a period immediately pre-qualification and between six to nine months post-qualification. From our findings, we identify four categories that influence the impact of service user involvement on students’ learning: student factors; service user and carer factors; programme factors; and practice factors; each comprises of a number of sub-categories. We propose that the model developed can be used by social work educators, service user and carer contributors and practitioners to maximise the impact of SUCI. We argue that our findings also have implications for employment-based learning routes and post-qualifying education.

Development, implementation, and evaluation of the Apollo model of pediatric rehabilitation service delivery

This article presents the experience of a rehabilitation program that un- dertook the challenge to reorganize its services to address accessibility issues and im- prove service quality. The context in which the reorganization process occurred, along with the relevant literature justifying the need for a new service delivery model, and an historical perspective on the planning; implementation; and evaluation phases of the process are described. In the planning phase, the constitution of the working committee, the data collected, and the information found in the literature are presented. Apollo, the new service delivery model, is then described along with each of its components (e.g., community, group, and individual interventions). Actions and lessons learnt during the implementation of each component are presented. We hope by sharing our experiences that we can help others make informed decisions about service reorganization to im- prove the quality of services provided to children with disabilities, their families, and their communities.

Influence of a lifestyle intervention in preschool children on physiological and psychological parameters (Ballabeina): study design of a cluster randomized controlled trial.

Childhood obesity and physical inactivity are increasing dramatically worldwide. Children of low socioeconomic status and/or children of migrant background are especially at risk. In general, the overall effectiveness of school-based programs on health-related outcomes has been disappointing. A special gap exists for younger children and in high risk groups. This paper describes the rationale, design, curriculum, and evaluation of a multicenter preschool randomized intervention study conducted in areas with a high migrant population in two out of 26 Swiss cantons. Twenty preschool classes in the German (canton St. Gallen) and another 20 in the French (canton Vaud) part of Switzerland were separately selected and randomized to an intervention and a control arm by the use of opaque envelopes. The multidisciplinary lifestyle intervention aimed to increase physical activity and sleep duration, to reinforce healthy nutrition and eating behaviour, and to reduce media use. According to the ecological model, it included children, their parents and the teachers. The regular teachers performed the majority of the intervention and were supported by a local health promoter. The intervention included physical activity lessons, adaptation of the built infrastructure; promotion of regional extracurricular physical activity; playful lessons about nutrition, media use and sleep, funny homework cards and information materials for teachers and parents. It lasted one school year. Baseline and post-intervention evaluations were performed in both arms. Primary outcome measures included BMI and aerobic fitness (20 m shuttle run test). Secondary outcomes included total (skinfolds, bioelectrical impedance) and central (waist circumference) body fat, motor abilities (obstacle course, static and dynamic balance), physical activity and sleep duration (accelerometry and questionnaires), nutritional behaviour and food intake, media use, quality of life and signs of hyperactivity (questionnaires), attention and spatial working memory ability (two validated tests). Researchers were blinded to group allocation. The purpose of this paper is to outline the design of a school-based multicenter cluster randomized, controlled trial aiming to reduce body mass index and to increase aerobic fitness in preschool children in culturally different parts of Switzerland with a high migrant population. Trial Registration: (clinicaltrials.gov) NCT00674544.

Students' knowledge about tobacco one year after receiving the PAL smoking prevention program

A review of literature revealed that the control of cigarette smoking could do more to improve health than any other single action in the field of preventive medicine. In Ontario, since 1989, both Public Health Units and Boards ofEducations have been mandated to provide educational studies related to tobacco use prevention. Even given this fact, there has been an increase in smoking behaviQurs at an earlier age and in females in particular. Smoking prevention progralns must use the most effective means to assist students to obtain the knowledge and skills required to remain or becom'e nonsmokers. In the Niagara Region, PAL smoking prevention programs are offered in some, but not all, schools. As a form of program evaluation, this research sought to determine if students who had PAL could answer correctly a greater number of smoking-related questions than students who did not have this program. Findings reported that students who had PAL in Grade 6 were able to correctly answer more knowledge-based questions (at a statistically significant level), could provide ways to refuse cigarettes at a greater rate, and were able to provide more reasons for remaining nonsmokers. Students who had smoking prevention programming re,ported smoking behavio'urs at a lower rate than those who did not receive this type of program.

Évaluation d'un programme de formation en administration des services de soins infirmiers : le cas du Sénégal

Partout dans le monde, la formation en gestion des cadres infirmiers est devenue une nécessité. Afin de doter la profession infirmière de chefs de file capables de faire face aux changements, plusieurs pays ont conçu des programmes de formation de deuxième cycle en administration des services de soins infirmiers. Plusieurs programmes sont développés en ce sens dont peu ou prou sont évalués. Plusieurs auteurs croient que l’évaluation de ces programmes permettrait de mieux apprécier l’atteinte des objectifs pédagogiques et ultérieurement, d’améliorer la formation et les pratiques de gestion. Afin de contribuer à ce projet, la présente étude vise à évaluer le programme de formation Administration et enseignement de l'École nationale de développement sanitaire et social (ENDSS) du Sénégal. Cette évaluation prend en compte les points de vue des diplômés, des enseignants, des concepteurs du programme et des directions d’hôpitaux. Il s’agit d’une recherche évaluative de type rétrospectif. Une enquête par questionnaire et par entrevue a été réalisée auprès des diplômés, des enseignants, des concepteurs de programme et des directions d'hôpitaux. Également, des bases de données sur les étudiants finissants entre les années 2003 et 2009 ont été consultées pour recueillir les notes obtenues à l’examen de certification, les effectifs d’admission et d’inscrits et les renseignements sociodémographiques. Cette évaluation porte sur les principales composantes du programme de formation Administration et enseignement de l’ENDSS qui sont examinées à l’aide du modèle systémique d’évaluation de programme éducatif de Stufflebeam (1981) communément appelé modèle CIPP. Les résultats de l’analyse s’appuient sur 70 questionnaires et 37 entrevues. En vue de répondre aux questions de recherche, les données recueillies sont analysées et interprétées à partir d’indicateurs et selon des critères définis. La démarche d’analyse des résultats s’est effectuée en deux étapes. D'abord, les données des questionnaires et des entrevues fournies par les diplômés, les enseignants et les concepteurs ont été analysées ainsi que celles du dossier scolaire des étudiants inscrits au programme. Ensuite, l’examen a porté sur les données des questionnaires recueillies auprès des directions d’hôpitaux. Les avis de tous les répondants sur les améliorations à apporter au programme sont analysés pour rendre compte de leurs recommandations à ce sujet. Tout au long de l’analyse des résultats, les données des questionnaires et des entrevues sont présentées à la fois. Le jugement sur l’efficacité du programme de formation Administration et enseignement de l’ENDSS est établi par l’analyse d’indicateurs reliés aux quatre types d'évaluation proposés par Stufflebeam (1981). Les diplômés et les concepteurs jugent que la formation est adéquate pour l’exercice de la fonction de chef de services des soins infirmiers. Par contre, les enseignants sont très partagés sur cette question, puisque près de la moitié d'entre eux expriment un avis favorable tandis que les autres ont une opinion contraire. Les diplômés apparaissent très partagés par rapport à la cohérence apparente entre les objectifs de stage d’administration hospitalière et les compétences à développer, alors que les enseignants et les concepteurs expriment plus largement une opinion négative. La cohérence entre les notions du module de Management des services de santé et l’exercice de la fonction de chef de services des soins infirmiers est jugée plus forte en ce qui concerne plusieurs notions, par les diplômés, les enseignants et les concepteurs. La majorité des diplômés et des enseignants jugent que la supervision offerte aux étudiants est insatisfaisante. Les diplômés et les enseignants croient que la disponibilité des ressources didactiques à la bibliothèque ne facilite pas les apprentissages. Tandis que les concepteurs, en proportion plus élevée, expriment le même jugement. Les diplômés et les enseignants sont divisés sur la question de l’équilibre entre le nombre d’heures alloué à la théorie et à la formation pratique. Tandis que la majorité des concepteurs croient qu’il n’y a pas d'équilibre entre le nombre d'heures consacré aux cours et à la formation pratique. Les diplômés et les enseignants expriment une opinion très positive sur la qualité des rapports sociaux des étudiants entre eux, avec les enseignants et le personnel administratif. Tandis que les concepteurs ont une opinion plutôt négative à ce sujet. Les diplômés, de même que les enseignants jugent en majorité, que la supervision des stages offerte aux étudiants est insatisfaisante. Ces opinions convergent avec celles de la grande majorité des concepteurs. Selon les diplômés, le travail de groupe, de même que les études de cas sont les méthodes les plus pertinentes dans la formation de chef de service des soins infirmiers. Pour les enseignants et les concepteurs c'est le travail de groupe qui est la méthode la plus pertinente pour faire acquérir des connaissances. Parmi l’ensemble des inscrits, incluant les étudiants sénégalais et étrangers, 104 d’entre eux ont obtenu un diplôme. Subséquemment, seuls 2 étudiants sur les 106 inscrits au programme ont échoué. Les enseignants, les diplômés et les concepteurs sont tous satisfaits du programme de formation Administration et enseignement de l’ENDSS. Les directions d'hôpitaux sont partagées quant à elles, à l’idée selon laquelle les étudiants sont préparés aux fonctions de chef de service des soins infirmiers. En plus, selon la grande majorité des directions le programme de formation ne répond pas à la stratégie de la réforme hospitalière. Elles affirment à l’unanimité qu’elles n’ont pas été associées au processus d’élaboration du programme et sont d’accord que, de manière générale, la formation reçue par le chef de services des soins infirmiers est de qualité. Unanimement, les directions d’hôpitaux jugent que des notions devraient être ajoutées ou améliorées au programme de formation Administration et enseignement de l’ENDSS. L’interprétation des données révèle la complexité qui entoure l’importance de l’équilibre du volume horaire à consacrer à la théorie et à la pratique dans un programme de formation. En plus, les résultats sur les connaissances à acquérir par les diplômés durant la formation montrent un besoin élevé de perfectionnement voire d’enseignement plus poussé du contenu des notions Système d’information sanitaire et Introduction à l’informatique, Introduction au management; Élaboration de programme et Administration hospitalière. Un choix approprié de terrain où l’étudiant pourrait réaliser les objectifs d’apprentissage, une sélection de la période adéquate pour le stage, de même qu’un encadrement signifiant, seraient le gage d’un stage profitable pour l’étudiant. Nous estimons que cette recherche a ouvert des pistes à des perspectives de recherches reliées au développement professionnel des futurs chefs de service des soins infirmiers. Mots clés : évaluation de programme, acquisition de connaissances, développement des compétences, administration des soins infirmiers, programme de deuxième cycle.

Évaluation d’un programme de développement professionnel en santé publique : le laboratoire de promotion de la santé

Il y a quelques décennies, l’émergence du discours de la promotion de la santé infléchissait un nouveau tournant à la santé publique, orientant sa pratique vers l’action communautaire, participative et intersectorielle. Parallèlement, au Québec, la réforme du système de santé de 2004 réorganisait le niveau de gouverne locale à travers la création des centres de santé et de services sociaux (CSSS). Ceux-ci doivent articuler les secteurs des soins et de la santé publique à travers un continuum de services qui va de la promotion de la santé aux soins palliatifs. Ces changements ont des implications majeures pour les acteurs de la santé et de la santé publique, qui doivent composer avec de nouveaux rôles professionnels et de nouvelles stratégies d’action. Le développement professionnel est considéré comme un levier potentiel pour soutenir ces changements. En 2009, une équipe de la Direction de la santé publique de l’Agence de santé et des services sociaux de Montréal concevait un programme de développement professionnel appelé le Laboratoire de promotion de la santé. Ce programme mise sur une approche d’apprentissage de groupe pour permettre aux professionnels des CSSS de développer de nouvelles compétences, une pratique réflexive ainsi que de nouvelles pratiques de promotion de la santé. Basée sur une méthodologie générale qualitative et une approche d’évaluation collaborative, cette thèse utilise plusieurs stratégies d’investigation afin d’évaluer le Laboratoire de promotion de la santé sous trois angles, qui renvoient à sa conceptualisation, à son implantation et à ses effets. Plus spécifiquement, elle vise à : (1) examiner la plausibilité de la théorie d’intervention du programme; (2) décrire et comprendre les processus d’apprentissage d’équipe ainsi que les facteurs qui les influencent; et (3) explorer, du point de vue des participants, les effets réflexifs du Laboratoire. Afin de répondre à ces objectifs, la thèse mobilise diverses perspectives théoriques liées à l’apprentissage individuel, d’équipe et organisationnel. Les résultats des analyses démontrent que : (1) malgré quelques améliorations possibles, le modèle du programme est généralement bien conçu pour parvenir aux résultats visés; (2) l’implantation de ce modèle dans deux sites a donné lieu à des processus d’apprentissage d’équipe différents, bien que conditionnés par des facteurs communs liés aux participants, à l’équipe, au contexte organisationnel et à l’implantation du programme; (3) tel que visé, les participants des deux sites ont développé de la réflexivité vis-à-vis leur pratique et leur rôle professionnel – cette réflexivité adoptant une fonction formative ou critique en regard de l’expérience professionnelle. Ces résultats soulignent le potentiel que représente l’évaluation de la théorie d’intervention pour améliorer la conceptualisation d’un programme de développement professionnel, ainsi que l’intérêt et la pertinence d’évaluer les processus d’apprentissage au niveau de l’équipe dans le cadre d’une approche collective de développement professionnel. De plus, ils appuient l’importance de l’apprentissage réflexif pour l’amélioration des pratiques et l’engagement social des professionnels. En ce sens, ils proposent différentes avenues qui ont le potentiel de consolider les capacités de la main-d’œuvre de santé publique et d’influer conséquemment sur son efficacité à améliorer la santé des collectivités dans le prochain siècle.

Agricultura urbana en Bogotá. Una evaluación externa-participativa.

En la última década, uno de los problemas considerados más relevantes de la política pública colombiana es la Seguridad Alimentaria y Nutricional, que contempla no sólo la disponibilidad y el acceso a los alimentos, sino también la utilización y estabilidad (disponibilidad continua) de alimentos sanos, limpios e inocuos para el consumo humano. En este marco, el gobierno de Garzón dio inicio política pública “Bogotá sin indiferencia”, junto con el programa “Bogotá sin Hambre”, que pretendía a través de diversos proyectos garantizar el derecho a la alimentación de la población de escasos recursos; uno de ellos es el proyecto 319 de Agricultura Urbana, el cual presenta continuidad hasta el momento. La presente investigación, realiza una evaluación externa y participativa al proyecto, desentrañando a través de la metodología del marco lógico, los objetivos y metas de dicho proyecto, para seguidamente evaluarlo apoyándose en la propuesta de Cohen y Franco (1992) y García y Ramírez (1994); bajo el supuesto de que su sostenibilidad depende del tipo de huerta, del apoyo institucional y del empoderamiento de los beneficiarios. Desde la mirada de los beneficiarios, se adelantó la evaluación de tres Estudios de Caso que permitieron desvelar los principios que regulan la política pública, las dificultades y problemas estructurales existentes a la misma.

Cambios en el régimen de pensiones en Colombia y su efecto en el margen intensivo de la oferta laboral

En Colombia, como en muchos países de América Latina, en los años 80 y 90 se hicieron cambios importantes en los regímenes de pensiones. Este trabajo hace un análisis de uno de esos cambios en Colombia. El cambio consistió en aumentar el tiempo de cotización necesario para reclamar los beneficios pensionales y la inclusión del salario dentro de la fórmula del monto de pensiones. Para este propósito se estudia el impacto sobre la oferta laboral de un cambio exógeno en estas condiciones usando un diseño de regresión discontinua. Se encuentra un efecto positivo sobre las horas promedio trabajadas en la semana.

Microfinance best practice : ten parameters of success for development NGOs

Experience has shown that development NGOs typically do not succeed in transforming themselves into financially sustainable providers of financial intermediation services. The reasons for this failure are complex (see Dichter 1999). Nonetheless, the role that NGOs play as microfinance providers is important and the contribution they could make to poverty reduction would be greatly enhanced if they adhered to some simple but essential parameters of success.

Quantitative evaluation in health promotion : evaluation with confidence

Over the past 10 years or so, confidence intervals have become increasingly recognised in program evaluation and quantitative health measurement generally as the preferred way of reporting the accuracy of statistical estimates. Statisticians have found that the more traditional ways of reporting results - using P-values and hypothesis tests - are often very difficult to interpret and can be misleading. This is particularly the case when sample sizes are small and results are 'negative' (ie P>0.05); in these cases, a confidence interval can communicate much more information about the sample and, by inference, about the population. Despite this trend among statisticians and health promotion evaluators towards the use of confidence intervals, it is surprisingly difficult to find succinct and reasonably simple methods to actually compute a confidence interval. This is particularly the case for proportions or percentages. Much of the data which are analysed in health promotion are binary or categorical, rather than the quantities and continuous variables often found in laboratories or other branches of science, so there is a need for health promotion evaluators to be able to present confidence intervals for percentages or proportions. However, the most popular statistical analysis computer package among health promotion professionals, SPSS does not have a routine to compute a simple confidence interval for a proportion! To address this shortcoming, I present in this paper some fairly simple strategies for computing confidence intervals for population percentages, both manually and using the right computer software.

Tests of measurement invariance failed to support the application of the "then-test"

Objective
The use of then-test (retrospective pre-test) scores has frequently been proposed as a solution to potential confounding of change scores because of response shift, as it is assumed that then-test and post-test responses are provided from the same perspective. However, this assumption has not been formally tested using robust quantitative methods. The aim of this study was to compare the psychometric performance of then-test/post-test with traditional pre-test/post-test data and assessing whether the resulting data structures support the application of the then-test for evaluations of chronic disease self-management interventions.

Study Design and Setting
Pre-test, post-test, and then-test data were collected from 314 participants of self-management courses using the Health Education Impact Questionnaire (heiQ). The derived change scores (pre-test/post-test; then-test/post-test) were examined for their psychometric performance using tests of measurement invariance.

Results
Few questionnaire items were noninvariant across pre-test/post-test, with four items identified and requiring removal to enable an unbiased comparison of factor means. In contrast, 12 items were identified and required removal in then-test/post-test data to avoid biased change score estimates.

Conclusion
Traditional pre-test/post-test data appear to be robust with little indication of response shift. In contrast, the weaker psychometric performance of then-test/post-test data suggests psychometric flaws that may be the result of implicit theory of change, social desirability, and recall bias.