Le défi de l’intégration de l’approche par compétences lors de la sélection : conception d’un test de jugement situationnel ciblant le rôle CanMEDS de collaborateur pour la sélection au niveau postdoctoral en médecine

Introduction : L’approche par compétences est maintenant bien ancrée dans l’enseignement au niveau de la formation médicale postdoctorale. Dans ce contexte, un système de sélection également axé sur les compétences pourrait être avantageux. L’objectif principal de ce projet était de concevoir un TJS ciblant le rôle CanMEDS de collaborateur pour la sélection au niveau postdoctoral en médecine interne (MI) et en médecine familiale (MF). Méthodologie : Des entrevues d’incidents critiques ont été réalisées auprès de résidents juniors en MI ou en MF afin de générer les items du TJS. Trois leaders de l’approche par compétences ont révisé le contenu du test. Les items ont été analysés pour identifier la compétence principale du rôle CanMEDS de collaborateur, le contexte ainsi que les membres de l’équipe interprofessionnelle représentés dans les vignettes. La clé de correction a été déterminée par un panel composé de 11 experts. Cinq méthodes de notation ont été comparées. Résultats : Sept entrevues ont été réalisées. Après révision, 33 items ont été conservés dans le TJS. Les compétences clés du rôle CanMEDS de collaborateur, les contextes et les divers membres de l’équipe interprofessionnelle étaient bien distribués au travers des items. La moyenne des scores des experts variait entre 43,4 et 75,6 % en fonction des différentes méthodes de notation. Le coefficient de corrélation de Pearson entre les cinq méthodes de notation variait entre 0,80 et 0,98. Conclusion : Ce projet démontre la possibilité de concevoir un TJS utilisant le cadre CanMEDS comme trame de fond pour l’élaboration de son contenu. Ce test, couplé à une approche globale de sélection basée sur les compétences, pourrait éventuellement améliorer le pouvoir prédictif du processus de sélection au niveau de la formation médicale postdoctorale.

Élaboration d'une grille permettant l'analyse de la qualité de situations d'apprentissage et d'évaluation en lecture auprès d'élèves du parcours de formation axée sur l'emploi

Ce mémoire s’inscrit dans le cadre d’une recherche de développement pédagogique d’objet, destinée à des enseignants du secondaire. L’objectif porte sur la conception, et la validation auprès d’un groupe d’experts, d’une grille visant l’analyse de la qualité de situations d’apprentissage et d’évaluation en lecture (GASAEL) conçues pour des élèves de niveau secondaire en difficulté d’apprentissage, notamment ceux du parcours de formation axée sur l’emploi (PFAE). La problématique expose la nécessité chez les enseignants de trouver des réponses ajustées aux besoins d’apprentissage des élèves ciblés, dans un contexte de programmes élaborés par compétences. La situation d’apprentissage et d’évaluation (SAE) est une instrumentation pertinente, mais demeure sous-utilisée. Le cadre conceptuel, guidé par le modèle de la situation pédagogique de Legendre (2005), assure l’analyse du contexte de la SAE et permet d’identifier ses caractéristiques. Ce cadre est suivi par la méthodologie de l’Analyse de la valeur pédagogique de Roque, Langevin et Riopel (1998) exposant la procédure d’analyse des fonctions du produit, au regard des besoins des utilisateurs. L’innovation de ce produit pédagogique tient en son caractère pragmatique; il propose à la fois l’analyse de la qualité des SAE, et une référence rapide à propos des concepts porteurs d’une SAE, fournis par des exemples ou des explications.

Construction d'une échelle décrivant les niveaux de compétence de collaboration, à partir d'indicateurs validés par des enseignants cliniciens en médecine

La collaboration est une compétence essentielle que les futurs médecins doivent développer. La détermination des niveaux de compétence est cruciale dans la planification de cet apprentissage. Les échelles descriptives suscitent un intérêt croissant, car elles décrivent en termes qualitatifs les performances attendues. Nous inspirant de la méthodologie mixte de Blais, Laurier, & Rousseau (2009), nous avons construit en cinq étapes une échelle de niveau de compétence de collaboration: 1) formulation d’une liste d’indicateurs situés à quatre niveaux de la formation médicale (préclinique, externat, résidence junior et sénior) par les chercheurs (n= 3) et un groupe d’éducateurs (n=7), leaders pédagogiques possédant une expertise pour la compétence de collaboration; 2) sondage en ligne comprenant quatre questionnaires portant sur les niveaux de 118 indicateurs, auprès d’enseignants cliniciens représentant les différentes spécialités (n=277); 3) analyse, avec le modèle partial credit de Rasch, des réponses aux questionnaires appariés par calibration concurrente; 4) détermination des niveaux des indicateurs par les éducateurs et les chercheurs; et 5) rédaction de l’échelle à partir des indicateurs de chaque niveau. L’analyse itérative des réponses montre une adéquation au modèle de Rasch et répartit les indicateurs sur l’échelle linéaire aux quatre niveaux. Les éducateurs déterminent le niveau des 111 indicateurs retenus en tenant compte des résultats du sondage et de la cohérence avec le curriculum. L’échelle comporte un paragraphe descriptif par niveau, selon trois capacités : 1) participer au fonctionnement d’une équipe; 2) prévenir et gérer les conflits; et 3) planifier, coordonner et dispenser les soins en équipe. Cette échelle rend explicites les comportements collaboratifs attendus à la fin de chaque niveau et est utile à la planification de l’apprentissage et de l’évaluation de cette compétence. La discordance entre les niveaux choisis par les éducateurs et ceux issus de l’analyse des réponses des enseignants cliniciens est principalement due au faible choix de réponse du niveau préclinique par les enseignants et aux problèmes d’adéquation pour les indicateurs décrivant la gestion des conflits. Cette recherche marque une avan- cée dans la compréhension de la compétence de collaboration et démontre l’efficacité de la méthodologie de Blais (2009) dans un contexte de compétence transversale, en sciences de la santé. Cette méthodologie pourrait aider à approfondir les trajectoires de développement d’autres compétences.

Le développement et la mise à l’essai d’une formation sur l’évaluation et la gestion du risque de violence à l’aide de la grille DASAfr. auprès d’intervenants dans le domaine de la psychiatrie légale

Rapport de stage présenté à la Faculté des sciences infirmières en vue de l'obtention du grade de Maître ès sciences (M.Sc.) en sciences infirmières option formation

Beyond Doing Good: An Interview with Dr. Kirsten Johnson on the Canadian Disaster and Humanitarian Response Training Program

Compte-rendu / Review

Conception d’un guide d’élaboration d’une épreuve de mathématiques dans une visée certificative pour la fin du cycle primaire au Burkina Faso

La présente recherche s’inscrit dans la mouvance actuelle orientée vers l’approche par compétences (APC) en Afrique de l’ouest. Née des exigences économiques et professionnelles à l’échelle mondiale, l’APC a connu son essor dans les années 1990. Par conséquent, le mode de recrutement sur le marché de l’emploi est basé sur les compétences des postulants. Il était donc légitime que l’école intègre cette nouvelle donne afin que les finissants puissent remplir les exigences socioprofessionnelles en temps opportun. De Ketele (2001, dans Hirtt 2009, p.6) est de cet avis quand il soutient que : « c’est en effet le monde socio-économique qui a déterminé la notion de compétence parce que les adultes que l’école a formés n’étaient pas suffisamment aptes à entrer dans la vie professionnelle ». L’APC rompt donc le caractère insulaire de l’école en faisant intervenir de nouveaux enjeux au niveau de l’enseignement, de l’apprentissage, des pratiques évaluatives des enseignants et des encadrements légaux dans les pays qui l’ont adoptée. Pour des contraintes socioéconomiques, le Burkina Faso a résolument opté de mettre en oeuvre une approche éclectique qui emprunte à l’APC certaines bases didactiques et pédagogiques. Cette option vise à doter le système éducatif burkinabé de mécanismes efficaces et efficients pour un enseignement de qualité tout en assurant la réussite et l’intégration socioprofessionnelle du plus grand nombre des sortants de l’école. Notre étude se situe dans cette nouvelle donne et vise l’amélioration du processus d’évaluation des élèves en fin du cycle primaire. Pour ce faire, nous avons conçu et validé un guide d’élaboration d’épreuves de mathématique dans une visée certificative pour ledit niveau afin de soutenir prioritairement les agents chargés de l’élaboration des épreuves officielles. En nous basant sur le paradigme de l’apprentissage, le constructivisme et la démarche méthodologique de Loiselle et Harvey (2009), nous avons examiné, dans un premier temps, les épreuves nationales développées au Québec et au Burkina Faso. Cette analyse a permis d’en relever les caractéristiques et d’identifier les éléments devant être retenus dans le cahier des charges au regard du profil des sortants défini dans le programme burkinabé. Dans un deuxième temps, un cahier des charges (version initiale.) a été développé en quatre sections afin de présenter les principes qui le sous-tendent : (1) l’élaboration des situations d’évaluation, (2) l’élaboration des outils d’administration de l’épreuve, (3) l’élaboration des outils de correction et de consignation et (4) les grilles d’évaluation. Dans un troisième temps, un groupe d’experts canadiens et deux groupes d’experts burkinabé se sont exprimés sur le degré de pertinence et de clarté de chaque section à partir de l’une ou l’autre version du Guide. Leurs observations et commentaires nous ont permis de le bonifier. D’une manière générale, les pourcentages des degrés d’accord pour la pertinence et la clarté des contenus développés au niveau de chaque section sont satisfaisants. Cependant, les recommandations des experts ont suscité des ajustements sur : 1) le contenu du guide soit de conserver une seule épreuve en mathématiques et de retirer les énoncés concernant les volets lecture et écriture en français; 2) le contenu de certains tableaux : à compléter ou à fusionner et; 3) la qualité de la langue : certaines phrases ont été reformulées, les erreurs de numérotation de certaines sous-sections ont été corrigées. La version finale serait celle qui est adaptée au contexte burkinabé. Ce guide est destiné aux structures chargées de l’évaluation des apprentissages et des acquis des élèves au Burkina Faso. Il constitue aussi un référentiel pour la formation initiale et continue des enseignants et des encadreurs. Bien que la recherche ait rempli des conditions méthodologiques et éthiques, la mise en oeuvre de ses résultats se limite au contexte burkinabé. Cependant, ils pourront soutenir ou orienter d’autres recherches qui s’inscrivent dans la même dynamique.

Une proposition d'intervention de pratique réflexive visant les infirmières pour l'amélioration des soins palliatifs en centre de soins de longue durée

Travail dirigé présenté à la Faculté des sciences infirmières en vue de l’obtention du grade de Maître ès sciences (M.Sc.) en sciences infirmières option formation des sciences infirmières

Documenter les pratiques évaluatives de trois enseignants du primaire au Sénégal au regard de la rétroaction écrite en correction de textes d'élèves du CM1

Notre recherche s’inscrit dans le cadre de l’adoption par le Sénégal de l’approche par compétences avec des pratiques évaluatives favorisant la réussite du plus grand nombre d’élèves. Parmi ces pratiques, figurent celles liées à l’évaluation formative et particulièrement aux rétroactions écrites, pouvant prolonger les activités d’apprentissage (Scallon, 2004; OCDE, 2005) et permettre la maîtrise des acquis. De ce point de vue, nous avons examiné les façons de faire l’évaluation formative de trois enseignants sénégalais du primaire. Le but est de documenter leurs façons de pratiquer la rétroaction écrite avant et après une expérimentation des annotations selon les modèles de Rodet (2000) et de Lebœuf (1999). Dans cette optique, notre recherche puise ses fondements dans les recherches qualitatives liées au paradigme naturaliste (Fortin, 2010; Deslauriers et Kérésit, 1997; Savoie-Zajc et Karsenti, 2011). Plus précisément, nous avons opté pour une recherche-formation au travers de la double démarche que nous avons empruntée. D’une part, l’étude est parcourue par une démarche de recherche qualitative telle que Fortin (2010) la conçoit, et ce, à des fins de compréhension des pratiques de rétroaction écrite des enseignants ciblés. D’autre part, le chercheur suit une démarche de formation en s’appuyant sur les travaux de Galvani (1999) et de Lafortune (2006), avec comme visée l’expérimentation de la pratique des annotations. Comme instruments de collecte, nous avons utilisé l’entrevue individuelle semi-structurée ainsi que deux guides d’entretien, en plus des deux grilles de recueil d’annotations. L’analyse des données a permis de constater que, en amont de l’expérimentation, la rétroaction écrite est constituée essentiellement de signes divers, de notes chiffrées et de commentaires sous forme d’appréciations globales. En aval, elle se compose majoritairement d’annotations à formulations positive et constructive à contenu cognitif, et des commentaires injonctifs, verdictifs et explicatifs. Au final, les enseignants trouvent cette nouvelle façon de faire avantageuse en termes de réussite des élèves mais contraignante au vu de son caractère chronophage. Cette recherche ouvre, entre autres, sur une étude traitant des liens entre annotations et réussite des élèves.

Activités pédagogiques en laboratoire favorisant l'intégration de connaissances conditionnelles

Rapport de stage présenté à la Faculté des sciences infirmières en vue de l’obtention du grade de Maître ès en sciences (M.Sc.) en sciences infirmières option formation en sciences infirmières

Les perceptions d’étudiants au baccalauréat en sciences infirmières de l’utilisation du journal d’apprentissage

L’approche par compétences est de plus en plus choisie pour guider les curriculums universitaires de formation professionnelle. Accordant un intérêt primordial au développement des compétences, les responsables des programmes élaborés selon cette approche doivent déterminer les stratégies pédagogiques qui seront les plus efficaces et qui permettront une participation active de l’étudiant. Depuis plus de 30 années (Cameron et Mitchell, 1993; Wellard et Bethune, 1996), le journal d’apprentissage favorise la construction des savoirs en pratique clinique et le développement de la pensée réflexive, une compétence nécessaire à la pratique des infirmières qui s’inspirent d’une vision spécifique de la discipline, comme celle du modèle de McGill (Kravitz et Frey, 1989; Thorpe, 2003). Malgré cela, les études sur les perceptions d’étudiants relativement au journal d’apprentissage sont rares, et ce, surtout au Canada (Epp, 2008). Il importe de s’intéresser aux perceptions d’étudiants afin d’atteindre l’efficacité optimale de l’outil. Le but de cette étude était d’explorer les perceptions d’étudiants au baccalauréat en sciences infirmières de l’utilisation du journal d’apprentissage. Elle a été réalisée auprès d’étudiants de 2e et 3e année, selon un devis de type qualitatif exploratoire. Les participants (n=52) ont rempli un formulaire constitué d’une mise en situation comprenant 5 questions ouvertes. L’analyse des données a fait émerger trois thèmes principaux de l’utilisation du journal soit : un outil personnel, un outil de communication et un outil d’apprentissage de la pratique. Des recommandations pour la formation et la recherche sont formulées.

Une évaluation qualitative d’un programme de préparation à l’examen professionnel québécois à partir de la perception des candidates infirmières

Depuis 2000, l’examen professionnel de l’Ordre des infirmières et infirmiers du Québec (OIIQ) est constitué d’une partie écrite et d’une partie pratique sous la forme d’un examen clinique objectif structuré (ECOS). Des programmes de préparation à l’examen professionnel ont été mis en place par différents milieux afin d’aider les candidates à l’exercice de la profession infirmière (CEPI) à se préparer pour cet examen, toutefois aucune évaluation de ces programmes n’a encore été effectuée. Cette étude avait pour but d’évaluer qualitativement un programme de préparation à l’examen professionnel. Des groupes de discussion ont été organisés avec des CEPI ayant participé au programme de préparation afin d’obtenir leur perception quant à l’impact de ce programme sur leur expérience de l’examen professionnel. La méthode d’analyse par questionnement analytique de Paillé et Mucchielli (2008) a été utilisée pour réaliser l’analyse des données. L’approche par compétences de deuxième génération développée par Goudreau, Pepin, Dubois, Boyer, Larue et Legault (2009) fut utilisée comme cadre de référence pour cette étude. L’analyse des données a permis d’identifier les attentes des CEPI à l’égard du programme de préparation et les impacts de celui-ci sur leur expérience à l’examen professionnel. Ainsi, le programme permettrait aux CEPI d’évaluer leurs forces et leurs faiblesses afin d’orienter l’étude préparatoire, tout en diminuant le stress relié à l’inconnu et en augmentant leur motivation et leur confiance en elles. Le parcours ECOS et la rétroaction sont les activités du programme jugées les plus pertinentes dans une perspective d’approche par compétences. L’examen écrit serait toutefois moins représentatif de l’examen professionnel et moins pertinent pour le développement des compétences. Des suggestions d’amélioration pour le programme de préparation découlent des entrevues avec les participantes et des recommandations pour la gestion, la pratique, la formation et la recherche en sciences infirmières ont également été émises à la suite de cette étude.

Un outil d’évaluation neurocognitive des interactions humain-machine

De plus en plus de recherches sur les Interactions Humain-Machine (IHM) tentent d’effectuer des analyses fines de l’interaction afin de faire ressortir ce qui influence les comportements des utilisateurs. Tant au niveau de l’évaluation de la performance que de l’expérience des utilisateurs, on note qu’une attention particulière est maintenant portée aux réactions émotionnelles et cognitives lors de l’interaction. Les approches qualitatives standards sont limitées, car elles se fondent sur l’observation et des entrevues après l’interaction, limitant ainsi la précision du diagnostic. L’expérience utilisateur et les réactions émotionnelles étant de nature hautement dynamique et contextualisée, les approches d’évaluation doivent l’être de même afin de permettre un diagnostic précis de l’interaction. Cette thèse présente une approche d’évaluation quantitative et dynamique qui permet de contextualiser les réactions des utilisateurs afin d’en identifier les antécédents dans l’interaction avec un système. Pour ce faire, ce travail s’articule autour de trois axes. 1) La reconnaissance automatique des buts et de la structure de tâches de l’utilisateur, à l’aide de mesures oculométriques et d’activité dans l’environnement par apprentissage machine. 2) L’inférence de construits psychologiques (activation, valence émotionnelle et charge cognitive) via l’analyse des signaux physiologiques. 3) Le diagnostic de l‘interaction reposant sur le couplage dynamique des deux précédentes opérations. Les idées et le développement de notre approche sont illustrés par leur application dans deux contextes expérimentaux : le commerce électronique et l’apprentissage par simulation. Nous présentons aussi l’outil informatique complet qui a été implémenté afin de permettre à des professionnels en évaluation (ex. : ergonomes, concepteurs de jeux, formateurs) d’utiliser l’approche proposée pour l’évaluation d’IHM. Celui-ci est conçu de manière à faciliter la triangulation des appareils de mesure impliqués dans ce travail et à s’intégrer aux méthodes classiques d’évaluation de l’interaction (ex. : questionnaires et codage des observations).

Une activité d'élaboration d'hypothèses pour soutenir le développement du RCI d'étudiantes en sciences infirmières

L'enseignement du raisonnement clinique infirmier (RCI) est une préoccupation importante des formateurs en sciences infirmières depuis plusieurs années. Les étudiantes en sciences infirmières éprouvent des difficultés à formuler des hypothèses cliniques, à savoir trouver les explications pouvant justifier la coexistence d'une combinaison de données cliniques. Pourtant, la formulation d’hypothèses constitue une étape déterminante du RCI. Dans cette étude qualitative exploratoire, nous avons mis à l'essai une activité d'apprentissage par vignette clinique courte (AVCC) qui fournit aux étudiantes l'occasion d'exercer spécifiquement la formulation d'hypothèses cliniques. L'étude visait à documenter la capacité d'étudiantes de troisième année au baccalauréat en sciences infirmières à formuler des hypothèses cliniques durant l'activité. Dix-sept étudiantes ont été recrutées par convenance et divisées en groupes selon leurs disponibilités. Au total, quatre séances ont eu lieu. Les participantes étaient invitées à réfléchir à une vignette clinique courte et à construire un algorithme qui incluait: 1) leurs hypothèses concernant la nature du problème clinique, 2) les éléments d'informations essentiels à rechercher pour vérifier chaque hypothèse et 3) les moyens pour trouver ces informations. L'observation participante, l'enregistrement audio-vidéo et un questionnaire auto-administré ont servi à collecter les données. Les stratégies de RCI décrites par Fonteyn (1998) ont servi de cadre théorique pour guider l’analyse, sous forme de matrices comprenant des verbatims et des notes de terrain. Les résultats suggèrent que l'AVCC stimule la formulation d'hypothèses cliniques et la réactivation des connaissances antérieures. Cette activité pourrait donc être utile en complément d'autres activités éducatives pour favoriser le développement du RCI chez les étudiantes en sciences infirmières.

Façons de faire l’évaluation formative d’enseignants de français sénégalais : une analyse de leurs savoirs pratiques en contexte d’effectifs pléthoriques au Lycée.

Cette recherche documente les façons de faire l’évaluation formative d’enseignants de français du Lycée exerçant en contexte de classes pléthoriques au Sénégal. Le choix récent dans ce pays de l’approche par compétences invite à privilégier cette fonction de l’évaluation, au regard de son potentiel pour la progression des apprentissages des élèves (Allal & Mottier Lopez, 2005; Black & Wiliam, 2009; Morrissette, 2010). Cependant, les orientations ministérielles concernant sa mise en œuvre sont très générales, et jusqu’ici, la recherche a laissé dans l’ombre son application en contexte de classes pléthoriques. Puisant au domaine des savoirs pratiques (Schön, 1983) et à une vision interactive et située de l’évaluation formative (Mottier Lopez, 2007; Morrissette, 2010), j’ai conduit une démarche de recherche collaborative auprès de 14 enseignants de français exerçant dans le même Lycée, ponctuée par 6 entretiens de groupe. Un premier registre d’analyse a décrit des façons de faire rattachées à trois dimensions de la pratique de l’évaluation formative: l’analyse du contexte de la pratique, la construction négociée du savoir et la gestion de l’effectif. Un second registre d’analyse de leurs façons de faire en contexte d’«étrangeté culturelle» (Douville, 2002) a permis de conceptualiser leur savoir-évaluer en relation avec leur façon d’interpréter les problèmes qui se posent aux élèves, leur conception de l’erreur et leurs manières de réinventer les modes d’accomplissement traditionnels de l’évaluation ancrés dans la culture scolaire.

Évaluation de la simulation à haute fidélité pour améliorer la communication interprofessionnelle aux soins intensifs : étude expérimentale à double insu

Objectifs: Les patients hospitalisés aux soins intensifs (SI) sont souvent victimes d’erreurs médicales. La nature interprofessionnelle des équipes de SI les rend vulnérables aux erreurs de communication. L’objectif primaire du projet est d’améliorer la communication dans une équipe interprofessionnelle de soins intensifs par une formation en simulation à haute fidélité. Méthodologie Une étude prospective randomisée contrôlée à double insu a été réalisée. Dix équipes de six professionnels de SI ont complété trois scénarios de simulations de réanimation. Le groupe intervention était débreffé sur des aspects de communication alors que le groupe contrôle était débreffé sur des aspects techniques de réanimation. Trois mois plus tard, les équipes réalisaient une quatrième simulation sans débreffage. Les simulations étaient toutes évaluées pour la qualité, l’efficacité de la communication et le partage des informations critiques par quatre évaluateurs. Résultats Pour l’issue primaire, il n’y a pas eu d’amélioration plus grande de la communication dans le groupe intervention en comparaison avec le groupe contrôle. Une amélioration de 16% de l’efficacité des communications a été notée dans les équipes de soins intensifs indépendamment du groupe étudié. Les infirmiers et les inhalothérapeutes ont amélioré significativement l’efficacité de la communication après trois sessions. L’effet observé ne s’est pas maintenu à trois mois. Conclusion Une formation sur simulateur à haute fidélité couplée à un débreffage peut améliorer à court terme l’efficacité des communications dans une équipe interprofessionnelle de SI.