Étude d’évaluabilité et évaluation des processus et des effets d’un programme de prévention de l’usage de substances psychoactives lors de la transition primaire-secondaire

La mise en œuvre d’activités de prévention de la consommation de substances psychoactives (SPA) (tabac, alcool et cannabis) en milieu scolaire est une stratégie couramment utilisée pour rejoindre un grand nombre de jeunes. Ces activités s’inspirent, soit de programmes existant, soit d’innovations dictées par le contexte d’implantation ou l’existence de données de recherche. Dans un cas comme dans l’autre, l’évaluation de ces programmes représente la meilleure voie pour mesurer leur efficacité et/ou connaître comment ceux-ci sont implantés. C’est cet impératif qui a motivé une commission scolaire du Québec a recommandé l’évaluation de l’Intervention en Réseau (IR), un programme développé en vue de retarder l’âge d’initiation et de réduire la consommation problématique de SPA chez les élèves. Ce programme adopte une approche novatrice avec pour principal animateur un intervenant pivot (IP) qui assure le suivi des élèves de la 5e année du primaire jusqu’en 3e secondaire. Inspiré des modèles en prévention de la santé et de l’Approche École en santé (AES), le rôle de l’IP ici se démarque de ceux-ci. Certes, il est l’interface entre les différents acteurs impliqués et les élèves mais dans le cadre du programme IR, l’IP est intégré dans les écoles primaires et secondaires qu’il dessert. C’est cet intervenant qui assure la mobilisation des autres acteurs pour la mise en œuvre des activités. Cette thèse vise à rendre compte de ce processus d’évaluation ainsi que des résultats obtenus. L’approche d’évaluation en est une de type participatif et collaboratif avec des données quantitatives et qualitatives recueillies par le biais de questionnaires, d’entrevues, de groupes de discussion, d’un journal de bord et de notes de réunions. Les données ont été analysées dans le cadre de trois articles dont le premier concerne l’étude d’évaluabilité (ÉÉ) du programme. Les participants de cette ÉÉ sont des acteurs-clés du programme (N=13) rencontrés en entrevues. Une analyse documentaire (rapports et journal de bord) a également été effectuée. Cette ÉÉ a permis de clarifier les intentions des initiateurs du programme et les objectifs poursuivis par ces derniers. Elle a également permis de rendre la théorie du programme plus explicite et de développer le modèle logique, deux éléments qui ont facilité les opérations d’évaluation qui ont suivi. Le deuxième article porte sur l’évaluation des processus en utilisant la théorie de l’acteur-réseau (TAR) à travers ses quatre moments du processus de traduction des innovations (la problématisation, l’intéressement, l’enrôlement et la mobilisation des alliés), l’analyse des controverses et du rôle des acteurs humains et non-humains. Après l’analyse des données obtenues par entrevues auprès de 19 informateurs-clés, les résultats montrent que les phases d’implantation du programme passent effectivement par les quatre moments de la TAR, que la gestion des controverses par la négociation et le soutien était nécessaire pour la mobilisation de certains acteurs humains. Cette évaluation des processus a également permis de mettre en évidence le rôle des acteurs non-humains dans le processus d’implantation du programme. Le dernier article concerne une évaluation combinée des effets (volet quantitatif) et des processus (volet qualitatif) du programme. Pour le volet quantitatif, un devis quasi-expérimental a été adopté et les données ont été colligées de façon longitudinale par questionnaires auprès de 901 élèves de 5e et 6e année du primaire et leurs enseignants de 2010 à 2014. L’analyse des données ont montré que le programme n’a pas eu d’effets sur l’accessibilité et les risques perçus, l’usage problématique d’alcool et la polyconsommation (alcool et cannabis) chez les participants. Par contre, les résultats suggèrent que le programme pourrait favoriser la réduction du niveau de consommation et retarder l’âge d’initiation à l’alcool et au cannabis. Ils suggèrent également un effet potentiellement positif du programme sur l’intoxication à l’alcool chez les élèves. Quant au volet qualitatif, il a été réalisé à l’aide d’entrevues avec les intervenants (N=17), de groupes de discussion avec des élèves du secondaire (N=10) et d’une analyse documentaire. Les résultats montrent que le programme bénéficie d’un préjugé favorable de la part des différents acteurs ayant participé à l’évaluation et est bien acceptée par ces derniers. Cependant, le roulement fréquent de personnel et le grand nombre d’écoles à suivre peuvent constituer des obstacles à la bonne marche du programme. En revanche, le leadership et le soutien des directions d’écoles, la collaboration des enseignants, les qualités de l’IP et la flexibilité de la mise en œuvre sont identifiés comme des éléments ayant contribué au succès du programme. Les résultats et leur implication pour les programmes et l’évaluation sont discutés. Enfin, un plan de transfert des connaissances issues de la recherche évaluative est proposé.

Réflexion sur la mise en œuvre du programme de suivis intensifs différenciés (SID) dans la communauté

Au regard des restrictions à l’incarcération introduites par l’adoption de la Loi sur le système de justice pénale pour les adolescents (LSJPA), au Centre jeunesse de Montréal - Institut universitaire (CJM-IU), s’est amorcée en 2005 la mise sur pied du programme de suivis intensifs différenciés (SID) dans la communauté. Notre stage de maitrise en intervention clinique avait comme objectifs : de participer à la mise en œuvre transversale du programme SID, de contribuer à son intégrité, de supporter les intervenants y étant associés ainsi que de bonifier le processus de référence de ce programme en développant un outil d’évaluation. Suite à cette expérience, il nous semblait nécessaire d’entreprendre une réflexion sur la situation d’implantation du programme SID, plus précisément de faire une évaluation de type formatif et constructif du niveau de concordance entre son modèle théorique et son application au quotidien ainsi que des obstacles rencontrés. Une méthodologie qualitative est apparue appropriée pour produire le matériel. Deux techniques ont été utilisées, l’observation participante sur le terrain et l’analyse du contenu de documents écrits (procès-verbaux rédigés après certains comités). Pour structurer l’ensemble du présent rapport de stage, nous avons retenu le concept de plan d’action d’un programme proposé par Chen, dont les six composantes servent de grille à l’évaluation et aident à avoir une vue globale de son implantation, ainsi que le modèle de changement de programme de la TCU (pour Texas Christian University), qui inclut les principaux stades de changement et les facteurs, aux niveaux individuel, organisationnel et du programme en soi, favorisant ou entravant la mise en œuvre d’innovations avec succès. À la lumière de notre analyse, nous considérons qu’il serait possible de surmonter ce qui gêne l’application du programme SID et qu’il ne serait pas obligatoire de faire des changements majeurs à sa théorie. Nous nous sommes permis de suggérer des ajustements qui pourraient être apportés au processus d’implantation de ce programme. En conclusion, nous estimons que la mise en œuvre du programme SID pourrait être réussie seulement si les conditions propices étaient réunies. Toutefois, selon nous, il y aura toujours certaines contraintes avec lesquelles il faudra composer.

Évaluation d'un programme de formation en administration des services de soins infirmiers : le cas du Sénégal

Partout dans le monde, la formation en gestion des cadres infirmiers est devenue une nécessité. Afin de doter la profession infirmière de chefs de file capables de faire face aux changements, plusieurs pays ont conçu des programmes de formation de deuxième cycle en administration des services de soins infirmiers. Plusieurs programmes sont développés en ce sens dont peu ou prou sont évalués. Plusieurs auteurs croient que l’évaluation de ces programmes permettrait de mieux apprécier l’atteinte des objectifs pédagogiques et ultérieurement, d’améliorer la formation et les pratiques de gestion. Afin de contribuer à ce projet, la présente étude vise à évaluer le programme de formation Administration et enseignement de l'École nationale de développement sanitaire et social (ENDSS) du Sénégal. Cette évaluation prend en compte les points de vue des diplômés, des enseignants, des concepteurs du programme et des directions d’hôpitaux. Il s’agit d’une recherche évaluative de type rétrospectif. Une enquête par questionnaire et par entrevue a été réalisée auprès des diplômés, des enseignants, des concepteurs de programme et des directions d'hôpitaux. Également, des bases de données sur les étudiants finissants entre les années 2003 et 2009 ont été consultées pour recueillir les notes obtenues à l’examen de certification, les effectifs d’admission et d’inscrits et les renseignements sociodémographiques. Cette évaluation porte sur les principales composantes du programme de formation Administration et enseignement de l’ENDSS qui sont examinées à l’aide du modèle systémique d’évaluation de programme éducatif de Stufflebeam (1981) communément appelé modèle CIPP. Les résultats de l’analyse s’appuient sur 70 questionnaires et 37 entrevues. En vue de répondre aux questions de recherche, les données recueillies sont analysées et interprétées à partir d’indicateurs et selon des critères définis. La démarche d’analyse des résultats s’est effectuée en deux étapes. D'abord, les données des questionnaires et des entrevues fournies par les diplômés, les enseignants et les concepteurs ont été analysées ainsi que celles du dossier scolaire des étudiants inscrits au programme. Ensuite, l’examen a porté sur les données des questionnaires recueillies auprès des directions d’hôpitaux. Les avis de tous les répondants sur les améliorations à apporter au programme sont analysés pour rendre compte de leurs recommandations à ce sujet. Tout au long de l’analyse des résultats, les données des questionnaires et des entrevues sont présentées à la fois. Le jugement sur l’efficacité du programme de formation Administration et enseignement de l’ENDSS est établi par l’analyse d’indicateurs reliés aux quatre types d'évaluation proposés par Stufflebeam (1981). Les diplômés et les concepteurs jugent que la formation est adéquate pour l’exercice de la fonction de chef de services des soins infirmiers. Par contre, les enseignants sont très partagés sur cette question, puisque près de la moitié d'entre eux expriment un avis favorable tandis que les autres ont une opinion contraire. Les diplômés apparaissent très partagés par rapport à la cohérence apparente entre les objectifs de stage d’administration hospitalière et les compétences à développer, alors que les enseignants et les concepteurs expriment plus largement une opinion négative. La cohérence entre les notions du module de Management des services de santé et l’exercice de la fonction de chef de services des soins infirmiers est jugée plus forte en ce qui concerne plusieurs notions, par les diplômés, les enseignants et les concepteurs. La majorité des diplômés et des enseignants jugent que la supervision offerte aux étudiants est insatisfaisante. Les diplômés et les enseignants croient que la disponibilité des ressources didactiques à la bibliothèque ne facilite pas les apprentissages. Tandis que les concepteurs, en proportion plus élevée, expriment le même jugement. Les diplômés et les enseignants sont divisés sur la question de l’équilibre entre le nombre d’heures alloué à la théorie et à la formation pratique. Tandis que la majorité des concepteurs croient qu’il n’y a pas d'équilibre entre le nombre d'heures consacré aux cours et à la formation pratique. Les diplômés et les enseignants expriment une opinion très positive sur la qualité des rapports sociaux des étudiants entre eux, avec les enseignants et le personnel administratif. Tandis que les concepteurs ont une opinion plutôt négative à ce sujet. Les diplômés, de même que les enseignants jugent en majorité, que la supervision des stages offerte aux étudiants est insatisfaisante. Ces opinions convergent avec celles de la grande majorité des concepteurs. Selon les diplômés, le travail de groupe, de même que les études de cas sont les méthodes les plus pertinentes dans la formation de chef de service des soins infirmiers. Pour les enseignants et les concepteurs c'est le travail de groupe qui est la méthode la plus pertinente pour faire acquérir des connaissances. Parmi l’ensemble des inscrits, incluant les étudiants sénégalais et étrangers, 104 d’entre eux ont obtenu un diplôme. Subséquemment, seuls 2 étudiants sur les 106 inscrits au programme ont échoué. Les enseignants, les diplômés et les concepteurs sont tous satisfaits du programme de formation Administration et enseignement de l’ENDSS. Les directions d'hôpitaux sont partagées quant à elles, à l’idée selon laquelle les étudiants sont préparés aux fonctions de chef de service des soins infirmiers. En plus, selon la grande majorité des directions le programme de formation ne répond pas à la stratégie de la réforme hospitalière. Elles affirment à l’unanimité qu’elles n’ont pas été associées au processus d’élaboration du programme et sont d’accord que, de manière générale, la formation reçue par le chef de services des soins infirmiers est de qualité. Unanimement, les directions d’hôpitaux jugent que des notions devraient être ajoutées ou améliorées au programme de formation Administration et enseignement de l’ENDSS. L’interprétation des données révèle la complexité qui entoure l’importance de l’équilibre du volume horaire à consacrer à la théorie et à la pratique dans un programme de formation. En plus, les résultats sur les connaissances à acquérir par les diplômés durant la formation montrent un besoin élevé de perfectionnement voire d’enseignement plus poussé du contenu des notions Système d’information sanitaire et Introduction à l’informatique, Introduction au management; Élaboration de programme et Administration hospitalière. Un choix approprié de terrain où l’étudiant pourrait réaliser les objectifs d’apprentissage, une sélection de la période adéquate pour le stage, de même qu’un encadrement signifiant, seraient le gage d’un stage profitable pour l’étudiant. Nous estimons que cette recherche a ouvert des pistes à des perspectives de recherches reliées au développement professionnel des futurs chefs de service des soins infirmiers. Mots clés : évaluation de programme, acquisition de connaissances, développement des compétences, administration des soins infirmiers, programme de deuxième cycle.