Étude d’évaluabilité et évaluation des processus et des effets d’un programme de prévention de l’usage de substances psychoactives lors de la transition primaire-secondaire

La mise en œuvre d’activités de prévention de la consommation de substances psychoactives (SPA) (tabac, alcool et cannabis) en milieu scolaire est une stratégie couramment utilisée pour rejoindre un grand nombre de jeunes. Ces activités s’inspirent, soit de programmes existant, soit d’innovations dictées par le contexte d’implantation ou l’existence de données de recherche. Dans un cas comme dans l’autre, l’évaluation de ces programmes représente la meilleure voie pour mesurer leur efficacité et/ou connaître comment ceux-ci sont implantés. C’est cet impératif qui a motivé une commission scolaire du Québec a recommandé l’évaluation de l’Intervention en Réseau (IR), un programme développé en vue de retarder l’âge d’initiation et de réduire la consommation problématique de SPA chez les élèves. Ce programme adopte une approche novatrice avec pour principal animateur un intervenant pivot (IP) qui assure le suivi des élèves de la 5e année du primaire jusqu’en 3e secondaire. Inspiré des modèles en prévention de la santé et de l’Approche École en santé (AES), le rôle de l’IP ici se démarque de ceux-ci. Certes, il est l’interface entre les différents acteurs impliqués et les élèves mais dans le cadre du programme IR, l’IP est intégré dans les écoles primaires et secondaires qu’il dessert. C’est cet intervenant qui assure la mobilisation des autres acteurs pour la mise en œuvre des activités. Cette thèse vise à rendre compte de ce processus d’évaluation ainsi que des résultats obtenus. L’approche d’évaluation en est une de type participatif et collaboratif avec des données quantitatives et qualitatives recueillies par le biais de questionnaires, d’entrevues, de groupes de discussion, d’un journal de bord et de notes de réunions. Les données ont été analysées dans le cadre de trois articles dont le premier concerne l’étude d’évaluabilité (ÉÉ) du programme. Les participants de cette ÉÉ sont des acteurs-clés du programme (N=13) rencontrés en entrevues. Une analyse documentaire (rapports et journal de bord) a également été effectuée. Cette ÉÉ a permis de clarifier les intentions des initiateurs du programme et les objectifs poursuivis par ces derniers. Elle a également permis de rendre la théorie du programme plus explicite et de développer le modèle logique, deux éléments qui ont facilité les opérations d’évaluation qui ont suivi. Le deuxième article porte sur l’évaluation des processus en utilisant la théorie de l’acteur-réseau (TAR) à travers ses quatre moments du processus de traduction des innovations (la problématisation, l’intéressement, l’enrôlement et la mobilisation des alliés), l’analyse des controverses et du rôle des acteurs humains et non-humains. Après l’analyse des données obtenues par entrevues auprès de 19 informateurs-clés, les résultats montrent que les phases d’implantation du programme passent effectivement par les quatre moments de la TAR, que la gestion des controverses par la négociation et le soutien était nécessaire pour la mobilisation de certains acteurs humains. Cette évaluation des processus a également permis de mettre en évidence le rôle des acteurs non-humains dans le processus d’implantation du programme. Le dernier article concerne une évaluation combinée des effets (volet quantitatif) et des processus (volet qualitatif) du programme. Pour le volet quantitatif, un devis quasi-expérimental a été adopté et les données ont été colligées de façon longitudinale par questionnaires auprès de 901 élèves de 5e et 6e année du primaire et leurs enseignants de 2010 à 2014. L’analyse des données ont montré que le programme n’a pas eu d’effets sur l’accessibilité et les risques perçus, l’usage problématique d’alcool et la polyconsommation (alcool et cannabis) chez les participants. Par contre, les résultats suggèrent que le programme pourrait favoriser la réduction du niveau de consommation et retarder l’âge d’initiation à l’alcool et au cannabis. Ils suggèrent également un effet potentiellement positif du programme sur l’intoxication à l’alcool chez les élèves. Quant au volet qualitatif, il a été réalisé à l’aide d’entrevues avec les intervenants (N=17), de groupes de discussion avec des élèves du secondaire (N=10) et d’une analyse documentaire. Les résultats montrent que le programme bénéficie d’un préjugé favorable de la part des différents acteurs ayant participé à l’évaluation et est bien acceptée par ces derniers. Cependant, le roulement fréquent de personnel et le grand nombre d’écoles à suivre peuvent constituer des obstacles à la bonne marche du programme. En revanche, le leadership et le soutien des directions d’écoles, la collaboration des enseignants, les qualités de l’IP et la flexibilité de la mise en œuvre sont identifiés comme des éléments ayant contribué au succès du programme. Les résultats et leur implication pour les programmes et l’évaluation sont discutés. Enfin, un plan de transfert des connaissances issues de la recherche évaluative est proposé.

Étude d’évaluabilité et évaluation des processus et des effets d’un programme de prévention de l’usage de substances psychoactives lors de la transition primaire-secondaire

La mise en œuvre d’activités de prévention de la consommation de substances psychoactives (SPA) (tabac, alcool et cannabis) en milieu scolaire est une stratégie couramment utilisée pour rejoindre un grand nombre de jeunes. Ces activités s’inspirent, soit de programmes existant, soit d’innovations dictées par le contexte d’implantation ou l’existence de données de recherche. Dans un cas comme dans l’autre, l’évaluation de ces programmes représente la meilleure voie pour mesurer leur efficacité et/ou connaître comment ceux-ci sont implantés. C’est cet impératif qui a motivé une commission scolaire du Québec a recommandé l’évaluation de l’Intervention en Réseau (IR), un programme développé en vue de retarder l’âge d’initiation et de réduire la consommation problématique de SPA chez les élèves. Ce programme adopte une approche novatrice avec pour principal animateur un intervenant pivot (IP) qui assure le suivi des élèves de la 5e année du primaire jusqu’en 3e secondaire. Inspiré des modèles en prévention de la santé et de l’Approche École en santé (AES), le rôle de l’IP ici se démarque de ceux-ci. Certes, il est l’interface entre les différents acteurs impliqués et les élèves mais dans le cadre du programme IR, l’IP est intégré dans les écoles primaires et secondaires qu’il dessert. C’est cet intervenant qui assure la mobilisation des autres acteurs pour la mise en œuvre des activités. Cette thèse vise à rendre compte de ce processus d’évaluation ainsi que des résultats obtenus. L’approche d’évaluation en est une de type participatif et collaboratif avec des données quantitatives et qualitatives recueillies par le biais de questionnaires, d’entrevues, de groupes de discussion, d’un journal de bord et de notes de réunions. Les données ont été analysées dans le cadre de trois articles dont le premier concerne l’étude d’évaluabilité (ÉÉ) du programme. Les participants de cette ÉÉ sont des acteurs-clés du programme (N=13) rencontrés en entrevues. Une analyse documentaire (rapports et journal de bord) a également été effectuée. Cette ÉÉ a permis de clarifier les intentions des initiateurs du programme et les objectifs poursuivis par ces derniers. Elle a également permis de rendre la théorie du programme plus explicite et de développer le modèle logique, deux éléments qui ont facilité les opérations d’évaluation qui ont suivi. Le deuxième article porte sur l’évaluation des processus en utilisant la théorie de l’acteur-réseau (TAR) à travers ses quatre moments du processus de traduction des innovations (la problématisation, l’intéressement, l’enrôlement et la mobilisation des alliés), l’analyse des controverses et du rôle des acteurs humains et non-humains. Après l’analyse des données obtenues par entrevues auprès de 19 informateurs-clés, les résultats montrent que les phases d’implantation du programme passent effectivement par les quatre moments de la TAR, que la gestion des controverses par la négociation et le soutien était nécessaire pour la mobilisation de certains acteurs humains. Cette évaluation des processus a également permis de mettre en évidence le rôle des acteurs non-humains dans le processus d’implantation du programme. Le dernier article concerne une évaluation combinée des effets (volet quantitatif) et des processus (volet qualitatif) du programme. Pour le volet quantitatif, un devis quasi-expérimental a été adopté et les données ont été colligées de façon longitudinale par questionnaires auprès de 901 élèves de 5e et 6e année du primaire et leurs enseignants de 2010 à 2014. L’analyse des données ont montré que le programme n’a pas eu d’effets sur l’accessibilité et les risques perçus, l’usage problématique d’alcool et la polyconsommation (alcool et cannabis) chez les participants. Par contre, les résultats suggèrent que le programme pourrait favoriser la réduction du niveau de consommation et retarder l’âge d’initiation à l’alcool et au cannabis. Ils suggèrent également un effet potentiellement positif du programme sur l’intoxication à l’alcool chez les élèves. Quant au volet qualitatif, il a été réalisé à l’aide d’entrevues avec les intervenants (N=17), de groupes de discussion avec des élèves du secondaire (N=10) et d’une analyse documentaire. Les résultats montrent que le programme bénéficie d’un préjugé favorable de la part des différents acteurs ayant participé à l’évaluation et est bien acceptée par ces derniers. Cependant, le roulement fréquent de personnel et le grand nombre d’écoles à suivre peuvent constituer des obstacles à la bonne marche du programme. En revanche, le leadership et le soutien des directions d’écoles, la collaboration des enseignants, les qualités de l’IP et la flexibilité de la mise en œuvre sont identifiés comme des éléments ayant contribué au succès du programme. Les résultats et leur implication pour les programmes et l’évaluation sont discutés. Enfin, un plan de transfert des connaissances issues de la recherche évaluative est proposé.

Évaluation et amélioration du rendement de la formation en entreprise : vers une démarche basée sur la gestion des processus d’affaires.

La formation est une stratégie clé pour le développement des compétences. Les entreprises continuent à investir dans la formation et le développement, mais elles possèdent rarement des données pour évaluer les résultats de cet investissement. La plupart des entreprises utilisent le modèle Kirkpatrick/Phillips pour évaluer la formation en entreprise. Cependant, il ressort de la littérature que les entreprises ont des difficultés à utiliser ce modèle. Les principales barrières sont la difficulté d’isoler l’apprentissage comme un facteur qui a une incidence sur les résultats, l’absence d’un système d’évaluation utile avec le système de gestion de l’apprentissage (Learning Management System - LMS) et le manque de données standardisées pour pouvoir comparer différentes fonctions d’apprentissage. Dans cette thèse, nous proposons un modèle (Analyse, Modélisation, Monitoring et Optimisation - AM2O) de gestion de projets de formation en entreprise, basée sur la gestion des processus d’affaires (Business Process Management - BPM). Un tel scénario suppose que les activités de formation en entreprise doivent être considérées comme des processus d’affaires. Notre modèle est inspiré de cette méthode (BPM), à travers la définition et le suivi des indicateurs de performance pour gérer les projets de formation dans les organisations. Elle est basée sur l’analyse et la modélisation des besoins de formation pour assurer l’alignement entre les activités de formation et les objectifs d’affaires de l’entreprise. Elle permet le suivi des projets de formation ainsi que le calcul des avantages tangibles et intangibles de la formation (sans coût supplémentaire). En outre, elle permet la production d’une classification des projets de formation en fonction de critères relatifs à l’entreprise. Ainsi, avec assez de données, notre approche peut être utilisée pour optimiser le rendement de la formation par une série de simulations utilisant des algorithmes d’apprentissage machine : régression logistique, réseau de neurones, co-apprentissage. Enfin, nous avons conçu un système informatique, Enterprise TRaining programs Evaluation and Optimization System - ETREOSys, pour la gestion des programmes de formation en entreprise et l’aide à la décision. ETREOSys est une plateforme Web utilisant des services en nuage (cloud services) et les bases de données NoSQL. A travers AM2O et ETREOSys nous résolvons les principaux problèmes liés à la gestion et l’évaluation de la formation en entreprise à savoir : la difficulté d’isoler les effets de la formation dans les résultats de l’entreprise et le manque de systèmes informatiques.

Évaluation des Conférences ministérielles euro-méditerranéennes de Valence, Crète, Naples et Dublin

La Conférence inaugurale de Barcelone a marqué, en novembre 1995, le début d'un long processus de rapprochement et de solidarité entre 27 partenaires (35 pays depuis le 1er mai 2004 et 37 à moyen terme). Cette initiative est censée revêtir un caractère permanent et évolutif sous l'angle institutionnel. De par sa dimension stratégique, le Processus de Barcelone, ci-après Processus, constitue l'instrument le plus important et le plus concret pour le dialogue et la coopération entre l'Union européenne (UE), ses Etats membres et les partenaires méditerranéens2. Pour être efficace, et pas uniquement rhétorique ou virtuel, le Partenariat euro-méditerranéen, ci-après Partenariat, doit se bâtir sur des valeurs universelles, capables de garantir un minimum de cohérence et de crédibilité à un projet extrêmement complexe, fragile et, par sa propre nature, constamment menacé de paralysie. En effet, il n'est pas toujours aisé de faire prévaloir des actions à caractère centripète aux tentations et tendances centrifuges qui caractérisent la région. Les changements et les événements exceptionnels survenus récemment, tant dans le domaine international qu'au sein de l'Union, ont rendu nécessaires l'approfondissement et le renforcement institutionnel des relations euro-méditerranéennes. Le Processus est appelé à se consolider d'urgence, pour être compris et accepté par une opinion publique de plus en plus sceptique et déconcertée par l'actualité internationale. La récente création de l'Assemblée parlementaire euro-méditerranéenne (APEM) - qui sera dotée de trois commissions permanentes3 - et la constitution prochaine à Alexandrie de la Fondation Euromed pour le dialogue entre les cultures et les civilisations, représentent des réponses logiques et encourageantes à cet état d'esprit plus ou moins généralisé

L'évaluation des archives audiovisuelles : un aperçu de la pratique au Réseau TVA

Travail de recherche sur le thème de l’évaluation des archives à l’ère du numérique réalisé à l’hiver 2009 dans le cadre du cours BLT6112 L’évaluation des archives sous la direction du professeur Yvon Lemay.

Évaluation des éléments facilitants et des barrières à l’implantation d’un programme d’éducation à la nutrition Camille, Antoine et l’archipel Ôlait tels que perçus par les enseignants du préscolaire

Cette étude vise à évaluer les éléments facilitants et les barrières à l’implantation du programme d’éducation à la nutrition Camille, Antoine et l’archipel Ôlait, développé par les Producteurs laitiers du Canada (PLC), auprès d’enseignants du préscolaire provenant de six régions du Québec et ayant reçu un atelier de formation animé par une diététiste des PLC. Elle vise également à connaître le degré d’implantation et la fidélité du programme ainsi que son appréciation, son utilisation et sa pertinence. Après une moyenne de 5 mois d’implantation, un questionnaire auto-administré a été complété par 37 enseignants (N = 86, 43 %), dont 10 utilisateurs (27 %) et 27 non-utilisateurs (73 %). Puis, des groupes de discussion ont eu lieu avec 13 enseignants (N = 170, 8 %). En moyenne, 11,4 activités sur 30 ont été réalisées (38 %), dont 6,3 telles quelles (55 %) et 5,1 modifiées (45 %), et les enseignants ont rapporté avoir l’intention de refaire 6,1 activités (54 %). L’implantation du programme a été facilitée ou limitée par différentes caractéristiques des enseignants, par l’appréciation de son contenu et son format, par sa pertinence concernant les exigences pédagogiques au préscolaire, la réalité des élèves et des parents et les objectifs d’apprentissages en nutrition, par le milieu scolaire, familial et communautaire ainsi que par la crédibilité et le support des PLC. Plusieurs de ces facteurs sont à la fois des éléments facilitants et des barrières. Les résultats obtenus aideront à ajuster ce programme et guider le développement et l’évaluation de programmes similaires.

Évaluation du processus : analyse de l’évaluabilité et de la mise en œuvre d’une stratégie d’amélioration de la couverture vaccinale au Burkina Faso.

La vaccination qui est le sujet sur lequel porte cette recherche est une des questions de santé publique les plus importantes; elle fait néanmoins l’objet de nombreuses controverses. Dans le contexte de cette thèse, c’est plutôt l’accès à la vaccination qui est mis en question. La présente recherche vise à analyser une stratégie d’amélioration de la couverture vaccinale à l’aide d’une évaluation de processus extensive en trois étapes faisant suite à une documentation approfondie du contexte. En effet, la recherche analyse les perceptions et les facteurs d’influence de la couverture vaccinale avant l’intervention, les assises conceptuelles et théoriques de cette intervention, l’implantation et la réception de l’intervention et enfin les résultats et les mécanismes mis en œuvre pour les atteindre. Les résultats indiquent que la vaccination s’insère dans l’ensemble des stratégies locales de protection fondées sur des notions endogènes du risque. Ces éléments culturels associés à des facteurs socioéconomiques et aux rapports entre parents et services de santé concourent à expliquer un niveau relativement bas de couverture vaccinale complète de 50% avant l’intervention. L’analyse exploratoire de l’intervention indique que celle-ci intègre une théorie initiale implicite et une philosophie. L’intervention finale était évaluable; cependant, la validation de sa théorie a été compromise par des écarts dans l’implantation. L’approche descriptive montre des taux de réalisation d’activités assez élevés, une atteinte de plus de 95% des cibles et un niveau de réception acceptable, ce qui indique que l’intervention est une stratégie réalisable mais à améliorer. La couverture vaccinale après l’intervention est de 87%; elle est influencée positivement par les niveaux de connaissance élevés des parents et le fait pour les enfants d’être nés dans un centre de santé, et négativement par l’éloignement par rapport au site de vaccination. L’atteinte des résultats suit la procédure principale d’amélioration du niveau de connaissance des parents. Celle-ci est basée sur un mécanisme latent qui est la perception des « opportunités » que fournit la vaccination pour prévenir divers risques sanitaires, sociaux et économiques. Cependant, des approches complémentaires tentent de maximiser les effets de l’intervention en utilisant les pouvoirs conférés aux relais communautaires féminins et la coercition sociale. Cette recherche contribue à éclairer la relation entre l’évaluation du processus et l’analyse de l’évaluabilité, à conceptualiser et opérationnaliser autrement les notions de doses d’intervention administrées et de doses reçues. Sur le plan de la pratique, la recherche contribue à proposer l’amélioration des profils de personnel pour les activités de vaccination et la vulgarisation de la stratégie. Des propositions sont faites pour l’amélioration de l’intervention et l’information des institutions de financement des interventions.