Abstract
Problem being addressed As is true in most postgraduate medical education programs, about 10% of the residents in the family medicine residency program at Université de Montréal encounter considerable difficulties in developing their skills.
Objective of program In order to more adequately support the program’s teachers in diagnosing these difficulties and in designing, planning, and following up on a remediation strategy, the Residency Program Evaluation Committee devised a tool consisting of a sample remediation plan and a guide to its use.
Program description The remediation tool consists of 2 documents. The first is a sample remediation plan made up of a contract followed by 4 sections: diagnosis of learning problems, intention to improve, ways to improve, and evaluation of improvement with an interim and a final report. The second is a guide to drafting and systematizing the remediation plan.
Conclusion The favourable response to the tool and the use that was made of it during the year in which it was implemented demonstrate that the processes we had chosen were a success. Support from the faculty, implementation of the co-construction method to create the tool, as well as training and support for users were all factors in this success. A research project is under way to document the impact that use of this tool will have on our residency program.
Il est reconnu que 10% à 15% des étudiants en médecine présentent des difficultés académiques.1,2 Si divers modèles existent dans la littérature pour tenter de classifier les différents types de problèmes rencontrés, tous s’accordent pour dire que les principales difficultés académiques sont d’ordre cognitif.3–6
Les enseignants considèrent généralement que la gestion de ces difficultés exige beaucoup de temps et d’énergie.5 En effet, nombreux sont les écueils dans cette démarche allant de la perception par les superviseurs des premiers indices de difficultés jusqu’à la mise en place d’une stratégie de remédiation.
L’identification et la documentation des problèmes
Généralement, les difficultés académiques des résidents sont identifiées soit tardivement dans le parcours de formation,5–7 soit pas du tout. Dans l’étude de Catton et coll., 40% des situations où les résidents éprouvaient des difficultés n’étaient portées à la connaissance du Postgraduate Board of Examiners que pendant leur dernière année de formation.8 Dudek et coll. spécifient que les superviseurs documentent mal les pauvres performances cliniques des étudiants, notamment en raison d’un manque d’outils, d’un manque de connaissances de ce qu’il faut identifier spécifiquement, d’un doute quant à leur appréciation lequel entraîne un besoin de voir comment les autres superviseurs réagissent, et finalement, d’un manque de moyens de remédiation. De sorte qu’il arrive que l’évaluation finale ne soit pas toujours conforme au jugement du superviseur.9–12 À cette difficulté des enseignants s’ajoute celle qu’ont les résidents à s’autoévaluer de façon pertinente. En effet, la corrélation entre l’évaluation des étudiants et la performance réelle est faible, surtout pour les résidents en difficulté.13,14
La mise en place de stratégies de remédiation
Même lorsque les difficultés des étudiants sont correctement identifiées par les enseignants, des processus de remédiation ne sont pas systématiquement mis en place. La réalité du contexte clinique, le manque de temps, mais aussi le doute quant à leurs compétences pédagogiques, font en sorte que les cliniciens enseignants ont parfois du mal à assumer conjointement leurs 2 rôles: celui du clinicien responsable du suivi médical des patients et celui du pédagogue chargé d’aider le résident à développer ses compétences cliniques, mais aussi d’identifier les éventuelles difficultés et de mettre en oeuvre des moyens de remédiation.15,16
Parce qu’ils se sentent vraisemblablement moins confortables dans leur rôle de pédagogue, la tentation est grande pour les cliniciens enseignants de se focaliser sur leur rôle clinique au détriment de leurs responsabilités pédagogiques. Dans ce contexte, le raisonnement pédagogique, qui comprend la démarche liée à la cueillette d’informations, l’établissement d’un diagnostic pédagogique, l’élaboration d’un plan de remédiation, la remédiation elle-même et l’évaluation de ses résultats, fait souvent défaut.17–19
Par ailleurs, la confiance des enseignants en leurs compétences d’enseignement semble jouer un rôle important dans leur investissement pédagogique.20 Stone et coll. relèvent à ce sujet l’importance de mettre en oeuvre des processus pour soutenir et guider les cliniciens dans leur rôle d’enseignant.21
Des principes pédagogiques bien connus…
Les principes pédagogiques qui régissent les remédiations dans le contexte clinique sont bien connus.3,6,22–25 Ces principes contribuent significativement à l’efficacité des remédiations. Il est ainsi important d’identifier rapidement les difficultés dans le cursus de formation, d’informer l’étudiant et de l’associer aux mesures de remédiation. Le processus de remédiation devrait être centré sur l’étudiant et intégrer une compréhension approfondie de ses difficultés et besoins spécifiques. Il devrait être très interactif et s’inscrire dans un contexte qui a du sens pour l’étudiant. Enfin, le processus de remédiation doit être soutenu et valorisé par les instances facultaires, défini concrètement et piloté par un responsable.
… mais des processus peu développés
Malgré cette connaissance des principes pédagogiques régissant les remédiations dans le contexte clinique, il y a, de façon surprenante, très peu de recommandations sur les meilleures pratiques en terme de remédiation dans l’éducation médicale, les choses existantes étant très localisées et n’étant pas, la plupart du temps, implantées officiellement.26 Hauer et coll.26 proposent un modèle d’intervention reposant sur 4 composantes déterminantes pour le succès d’un programme de remédiation: une évaluation initiale utilisant différents outils pour identifier les difficultés; le diagnostic des problèmes et l’établissement d’un plan de remédiation individualisé; des consignes et des activités qui comprennent des activités cliniques spécifiques, de la rétroaction et de la pratique réflexive et, finalement, une réévaluation et une certification des compétences.
Les constats dans notre programme
Depuis 2006, le Comité d’évaluation du programme de résidence en médecine familiale de l’Université de Montréal est l’instance facultaire qui décide de la réussite ou de l’échec de tous les stages réalisés par tous les résidents du programme. Le Comité a ainsi développé au cours des 4 dernières années une connaissance et une compréhension approfondies de sa clientèle étudiante et des processus évaluatifs mis en place dans les divers milieux de stage du programme, connaissance et compréhension qui lui ont permis de faire certains constats.
Conformément à ce qui est rapporté dans la littérature, environ 10% des résidents du programme à l’Université de Montréal éprouvent des difficultés considérables dans la construction de leurs compétences. La qualité de l’évaluation est variable d’un milieu d’enseignement à l’autre et elle dépend de l’intérêt et de l’expertise pédagogiques des enseignants. L’information transmise au Comité par plusieurs responsables de stage sur les résidents éprouvant des difficultés ne lui permet pas toujours de se faire une réelle opinion sur ces difficultés ni sur la progression de ces résidents dans leur formation. L’examen des fiches d’appréciation de stage révèle fréquemment des discordances entre les notes attribuées et les commentaires. Ces derniers témoignent souvent de difficultés qui ne sont pas clairement diagnostiquées. Tout cela nous porte à croire que certains enseignants du programme se trouvent dans une zone d’inconfort en ce qui concerne leur rôle pédagogique et qu’ils ont besoin d’aide pour poser les diagnostics pédagogiques et pour concevoir, planifier et assurer le suivi d’une stratégie de remédiation.
Fort de ces constats, le Comité d’évaluation a conçu et transmis aux enseignants du programme de résidence en médecine familiale un outil de remédiation.
Le programme
Nos choix stratégiques
Nous avons fondé nos processus de création et d’implantation sur une volonté facultaire affirmée de réduire la disparité dans la qualité de l’évaluation dans notre programme en imposant un processus évaluatif commun pour tous les milieux de stage, particulièrement lors de l’évaluation de résidents éprouvant des difficultés académiques.
Nous avons aussi choisi de créer notre outil en ayant recours à un mécanisme itératif de consultation auprès des utilisateurs et des résidents. Ce mécanisme de «co-construction» transforme les utilisateurs en partenaires de conception et permet d’une part aux concepteurs de produire un outil plus complet et mieux à même de répondre aux besoins réels des utilisateurs, d’autre part à ces derniers de s’approprier progressivement un outil qu’ils ont contribué à créer.24,27,28
Un processus de création
Le processus de création de l’outil s’est divisé en 4 étapes qui se sont échelonnées sur une année (l’année académique 2008–2009). La première étape a consisté à réviser la littérature traitant de la remédiation en éducation médicale. La deuxième étape a donné lieu à la mise en forme d’une première version de l’outil qui s’est inspirée du modèle théorique discuté plus haut,26 ainsi que du modèle pratique diffusé par la Faculté de médecine de l’Université d’Ottawa.29
Au cours de la troisième étape, des cycles itératifs de consultation ont été réalisés entre le rédacteur principal et les membres du comité d’évaluation, des experts du Département de médecine familiale et de médecine d’urgence de l’Université de Montréal, les membres du Comité de programme sur lequel siègent les directeurs des 15 unités de médecine familiale (UMF) et des représentants des résidents. Ces consultations ont permis de raffiner progressivement le document de travail pour en arriver à un produit plus accompli qui respecte les principes de remédiation préconisés dans la littérature et les besoins des futurs utilisateurs.
Lors de la quatrième et dernière étape, le rédacteur principal a réalisé une synthèse des commentaires et propositions pour produire la version définitive de l’outil. Cette version définitive comprend 2 documents complémentaires disponibles sur le site Internet du Département de médecine familiale et de médecine d’urgence. Le premier document est un Plan type de remédiation constitué d’une partie contractuelle suivie de 4 sections: diagnostic pédagogique, intentions de remédiation, moyens de remédiation et évaluation de la remédiation avec bilan intermédiaire et bilan final. Ces 4 sections correspondent aux 3 dernières phases du modèle théorique de Hauer évoqué plus haut.26 La première phase du modèle se réalise lorsque les enseignants évaluent les résidents par observation directe. Le second document est un Guide de rédaction du plan de remédiation qui est un outil de soutien à la rédaction et à la systématisation d’un plan de remédiation. Le guide, après un rappel des principes pédagogiques qui régissent la remédiation, propose un recueil de diagnostics pédagogiques, d’objectifs et de moyens de remédiation classifiés pour stimuler la réflexion pédagogique des enseignants.
Cet outil convient à la résolution de tous les types de difficultés, qu’elles soient de nature cognitive, affective, organisationnelle ou relationnelle.
Un processus d’implantation
Une fois la version définitive de l’outil réalisée, le Comité d’évaluation a mis en place un processus d’implantation qui, débuté en juin 2009, s’est déployé en 2 phases. Dans un premier temps, l’outil a été remis aux directeurs des UMF lors d’une réunion du Comité de programme pour qu’il soit bien compris et qu’il soit diffusé auprès de toutes les équipes enseignantes. Le rédacteur principal a profité de cette occasion pour rappeler les raisons d’être et les principes d’utilisation de l’outil.
Dans un deuxième temps, pour faciliter l’utilisation de l’outil, un atelier de formation professorale d’une journée portant sur l’évaluation a été offert à tous les enseignants du programme. Les participants ont alors eu l’occasion d’étoffer leur compréhension des principes fondamentaux de l’évaluation et de s’initier à l’utilisation de l’outil. Un autre atelier, portant sur le diagnostic pédagogique et les stratégies de remédiation a été planifié pour l’année académique suivante. Dans le même esprit, le Comité d’évaluation a proposé soutien et encadrement aux enseignants des diverses UMF qui s’engageaient dans la construction d’un plan de remédiation.
L’outil a été utilisé progressivement au cours de l’année académique 2009–2010, en réponse aux besoins des équipes enseignantes aux prises avec un résident éprouvant des difficultés, ou à la demande du Comité d’évaluation qui souhaitait obtenir de meilleures informations concernant les mesures prises pour aider ces résidents. Tous les plans ont été acheminés au Comité d’évaluation avec les fiches d’évaluation correspondantes.
Discussion
Indicateurs de succès
Une évaluation qualitative de l’implantation et de l’utilisation de l’outil s’est faite en 2 temps: premièrement, lors d’une réunion du comité de programme en décembre 2009, 6 mois après la date d’implantation, avec les directeurs de toutes les UMF. Ensuite, avec tous les utilisateurs, au cours des visites que la direction du programme a faites de toutes ses UMF entre janvier et mai 2010. Lors de chacune de ces rencontres, les utilisateurs ont été questionnés sur leur utilisation et leur appréciation des qualités et des limites de l’outil.
Deux indicateurs nous permettent de croire que nos choix stratégiques se sont avérés fructueux. Le premier est l’accueil favorable que l’outil a reçu auprès des directeurs d’UMF. Ceux-ci reconnaissent sa grande utilité en constatant:
-
qu’il facilite l’identification des problèmes en permettant de nommer ce qui était intuitivement perçu;
-
qu’il facilite le partage d’une compréhension commune des difficultés et solutions entre les membres de l’équipe enseignante;
-
qu’il facilite la communication entre l’équipe enseignante et le résident éprouvant des difficultés;
-
qu’il confère une meilleure assurance et une plus grande crédibilité à l’équipe enseignante en imposant rigueur et structure au raisonnement pédagogique; et
-
qu’il semble être apprécié des résidents parce qu’il les rassure en clarifiant et en structurant le processus de remédiation.
L’utilisation de l’outil a constitué un deuxième indicateur significatif. Au 1er juillet 2010, 1 année après sa diffusion, 15 plans de remédiation ont été construits et acheminés au Comité d’évaluation, qui a constaté que le fait de travailler avec ces plans améliore la rigueur de son processus évaluatif, facilite la prise de décision quant à la réussite ou à l’échec du stage et simplifie le suivi de la progression du résident dans l’ensemble de sa formation. L’utilisation de ces plans a aussi permis au Comité d’évaluation de mieux structurer le soutien qu’il souhaite offrir aux responsables de stage aux prises avec un résident qui éprouvent des difficultés.
D’ores et déjà, nous avons pu identifier les limites de notre outil: son utilisation demande non seulement du temps, mais également une compréhension approfondie de ses enjeux et de ses buts pédagogiques. Ce dernier constat a fait émerger chez les enseignants la prise de conscience d’un besoin de formation spécifique en évaluation.
Perspectives d’avenir
Pour répondre à ce besoin de formation, la direction du programme de résidence compte faire de l’évaluation une de ses priorités de développement professoral pour les prochaines années. Plusieurs auteurs7,30,31 recommandent que les autorités facultaires développent des politiques qui précisent dans quelles circonstances et par quels mécanismes l’information concernant l’évaluation des étudiants en difficulté peut être partagée entre les enseignants et la faculté. Prenant acte de la satisfaction exprimée par les utilisateurs quant à l’utilité de l’outil comme vecteur de communication, le Comité d’évaluation se propose d’en faire l’un des éléments centraux de sa politique.
Conclusion
Notre expérience nous indique que nos choix stratégiques ont été profitables. Notre outil a été bien accepté par les enseignants et s’implante progressivement dans nos UMF. L’appui et le leadership facultaire sur lesquels les concepteurs de l’outil ont pu compter ont constitué une véritable caution qui a facilité les processus de création et d’implantation. Le mécanisme de «co-construction» a favorisé l’acceptation de l’outil par les enseignants tout en stimulant leur propension à l’utiliser.
Reste à évaluer les retombées réelles de l’implantation et l’utilisation de notre outil et, notamment, l’impact qu’il aura sur la performance des résidents pour lesquels il aura été utilisé. Pour ce faire, nous avons développé un projet de recherche visant à documenter son utilisation et son efficacité. Cette recherche nous permettra de connaître la nature précise des difficultés de nos résidents, l’impact d’un plan structuré sur le devenir de la remédiation et son impact sur le sentiment de compétence pédagogique des enseignants.
Acknowledgments
Les auteurs remercient le Dr Louise Authier et le Dr Marie-Claude Lefebvre pour leurs précieuses recommandations.
Notes
POINTS DE REPÈRE DU RÉDACTEUR
-
En éducation médicale, 10% à 15% des étudiants présentent des difficultés académiques, les principales étant d’ordre cognitive. Généralement, ces difficultés sont identifiées soit tardivement dans le parcours de formation, soit pas du tout.
-
Même lorsque les difficultés des étudiants sont correctement identifiées par les enseignants, des processus de remédiation ne sont pas systématiquement mis en place.
-
Les auteurs présentent un outil de remédiation constitué d’un plan de remédiation et d’un guide de rédaction de plan.
-
Deux indicateurs permettent de croire que cet outil est utile: l’accueil favorable qu’il a reçu et le fait que 15 plans de remédiation aient été construits et acheminés au Comité d’évaluation. Le Comité a constaté que le fait de travailler avec ces plans améliore la rigueur de son processus évaluatif, facilite la prise de décision quant à la réussite ou à l’échec du stage et simplifie le suivi du résident dans l’ensemble de sa formation.
-
Pour l’instant, on ignore les retombées réelles liées à l’implantation et à l’utilisation de cet outil et, notamment, l’impact qu’il aura sur la performance des résidents.
EDITOR’S KEY POINTS
-
During their programs, 10% to 15% of medical students encounter difficulties that are primarily of a cognitive nature. Generally speaking, these difficulties are identified late, if at all.
-
Even when teachers correctly identify students’ difficulties, remediation is not systematically introduced.
-
This article describes a remediation tool, consisting of a remediation plan and a guide to creating the plan, that was introduced in a family medicine residency program.
-
Two factors suggest that this tool is useful: it was warmly received and 15 remediation plans were created and forwarded to the Evaluation Committee. The committee noted that working with a remediation plan made the evaluation process more rigorous, made it easier to decide whether a student’s rotation had been successful, and made it easier to monitor the student’s overall training.
-
At this time, the authors are unable to report on the real effects of introducing and using this tool, in particular, its effects on resident performance.
Footnotes
-
This article has been peer reviewed.
-
Cet article a fait l’objet d’une révision par des pairs.
-
Collaborateurs
Tous les auteurs ont collaboré à la conception, la rédaction et l’implantation du programme, ainsi qu’à la préparation de l’article qui a été soumis.
-
Intérêts concurrents
Le contenu de cet article a fait l’objet d’une présentation du Dr Sanche et de Mme Audétat lors du 5e Forum international francophone de pédagogie des sciences de la santé tenu à Québec, Qué, le 17 juin 2010.
- Copyright© the College of Family Physicians of Canada
