Les perpétuelles surprises après l’examen

Historique des examens sous forme d’EMS

Avant l’instauration de l’EMS, en 1969, l’évaluation de la compétence clinique se fondait sur un ensemble de tests écrits et d’examens oraux formels⁴. Les examens oraux formels, la norme d’excellence d’alors, exigeaient des apprenants qu’ils procèdent à une évaluation observée ou non d’un patient, suivie d’une revue par un examinateur de leurs constatations et d’une appréciation de leurs compétences en raisonnement clinique⁵.

Les examens oraux antérieurs à l’EMS étaient problématiques, notamment dans la façon non intentionnelle et incohérente selon laquelle le « patient » se présentait à l’étudiant par rapport à celle adoptée avec l’examinateur⁵. Par ailleurs, l’EMS se sert d’un patient « programmé », soit un acteur capable d’incarner un patient en bonne santé et malade de manière réaliste et reproductible, ce qui s’est avéré utile pour répondre à de telles préoccupations⁵. Cette approche a fait du CMFC la première instance nationale de certification à utiliser des patients standardisés dans son examen de certification^5-7.

L’amélioration continue de la qualité et la méthode clinique centrée sur le patient

Entre 1969 et 1986, de nombreux changements ont été apportés à l’EMS⁸. Alors que l’EMS initiale comportait 3 participants (un examinateur, un patient programmé et le candidat), dès 1986, les rôles du patient et de l’examinateur avaient été combinés, en se basant sur l’hypothèse que l’authenticité et l’exactitude des décisions relatives à l’évaluation en seraient améliorées⁸. Le nombre de vignettes d’EMS par examen avait augmenté à 5, et le temps accordé pour compléter chaque EMS était passé à 15 minutes avec un avertissement donné lorsqu’il restait 3 minutes⁸. La grille de notation de l’EMS se fondait sur 8 objectifs, sélectionnés pour leur conformité au guide d’évaluation récemment développé par le CMFC⁸. De nature plutôt ésotérique, la grille n’avait alors pas la clarté que l’on verrait plus tard.

Avant 1986, l’évaluation des résidents en médecine familiale suivait une approche générique qui se servait de plusieurs des mêmes techniques que celles utilisées dans d’autres disciplines médicales. Cependant, un article publié en 1984 par Levenstein, qui décrivait des consultations en pratique générale centrées sur le patient et insistait sur l’interaction unique entre les médecins généralistes et les patients, a offert à la discipline de la médecine familiale un référentiel indispensable⁹. L’importance d’aborder les expériences de la maladie vécues par les patients se situait au cœur de la discipline et du référentiel. Ce modèle a par la suite été désigné comme étant la méthode clinique centrée sur le patient^10-12.

Subséquemment, des chercheurs de l’Université Western Ontario (maintenant l’Université Western) à London (Ontario), les D^rs Judith Belle Brown, Moira Stewart et Wayne Weston, ont travaillé avec le CMFC pour élaborer une nouvelle grille de notation pour les EMS¹³. Se fondant sur la méthode clinique centrée sur le patient, la nouvelle grille permettait au CMFC d’évaluer la compétence du candidat à recueillir auprès du patient de l’information sur son expérience de la maladie et sur les impacts de celle-ci sur son environnement social, de même qu’à trouver un terrain d’entente avec le patient, tout en répondant à ses préoccupations entourant sa santé¹³.

La théorie du double processus

Notre compréhension du raisonnement clinique comporte de nombreuses facettes¹⁴. Même s’il n’existe aucune théorie de l’apprentissage qui explique complètement à elle seule toutes les observations constatées en éducation médicale, les théories du traitement de l’information conviennent le mieux à l’EMS¹⁵. Le plus courant de ces modèles est la théorie du double processus¹⁶, qui soutient que 2 processus cognitifs interviennent dans le raisonnement : le système 1 et le système 2.

Appelé le processus « lent », le système 2 est basé sur le modèle hypothético-déductif (c.-à-d. l’approche méthodologique selon laquelle un médecin pose et teste une hypothèse en fonction de données obtenues délibérément durant une rencontre clinique)¹⁶. On a jugé qu’isolément, le modèle hypothético-déductif était trop généralisé, les novices comme les experts étant tout aussi susceptibles d’utiliser cette approche¹⁷.

En revanche, il est postulé que le processus du système 1 est « rapide », intuitif et qu’il se produit presque inconsciemment^16,17. Plusieurs théories expliquent ce processus, notamment la reconnaissance des tendances et l’encapsulation des connaissances cliniques en vignettes de maladies¹⁸. L’exposition répétée d’un médecin à des problèmes cliniques semblables, accompagnés d’issues favorables, renforce la capacité du médecin à résoudre de tels problèmes. Essentiellement, ce médecin a fait l’expérience d’une forme de pratique itérative et délibérée^19,20. Lorsque le processus du système 2 est utilisé de concert avec un encadrement, les stagiaires en médecine compartimentent graduellement leur compréhension clinique des maladies en vignettes de maladies, produisent leur propre « base de données » d’exemples qui favorisent un degré plus élevé d’organisation des connaissances, ce qui, théoriquement, permet une extraction plus rapide de ce savoir encapsulé^18,21,22. En définitive, il est postulé que cette extraction plus rapide de l’information se situe au cœur de la surprise après l’examen.

Construire une argumentation

La compétence en raisonnement clinique est essentielle à l’exercice de toutes les professions en soins de santé et est une composante importante de l’évaluation finale de la compétence²². En éducation médicale, la théorie du double processus conceptualise le processus du raisonnement clinique et peut être visualisée à l’aide du modèle unifié proposé par Croskerry¹⁴.

Le modèle de Croskerry fait la distinction entre les cliniciens experts et novices en permettant à l’âge et à l’expérience d’agir comme déterminants du recours dominant au processus du système 1¹⁴. Autrement dit, un clinicien qui reconnaîtrait une tendance en raison de son âge ou de son expérience utiliserait par défaut le processus du système 1 et, par la suite, aurait besoin de moins de temps pour en arriver à un diagnostic^23,24. Cette facilité pourrait se manifester par le besoin de poser moins de questions ou de procéder à moins d’éléments d’un examen physique avant d’en arriver au diagnostic exact^25,26.

Dans 1 étude réalisée aux États-Unis, des patients standardisés ont visité des résidents en médecine familiale dans leurs cliniques durant leurs deuxième et troisième années de formation²⁵. À l’aide d’une liste de vérification semblable à celle d’un examen clinique objectif structuré (ECOS), les patients standardisés ont évalué le rendement des résidents lors de rencontres durant les 2 années, à partir des mêmes cas. Alors qu’il n’y avait pas de différences dans l’exactitude du diagnostic d’une année à l’autre, les notes totales à l’examen obtenues par les résidents étaient plus élevées durant leur deuxième année postdoctorale que durant leur troisième année postdoctorale. Les auteurs ont proposé qu’avec leur expérience accrue, les résidents avaient besoin de poser moins de questions et de faire moins de manœuvres à l’examen physique pour en arriver aux diagnostics finaux exacts, d’où des notes plus faibles à l’ECOS, ce qui démontrait possiblement le phénomène connu comme étant l’effet intermédiaire.

L’effet intermédiaire revisité

Considéré comme un paradoxe, l’effet intermédiaire est la constatation que les cliniciens au niveau intermédiaire (p. ex. moins expérimentés que les experts, mais plus expérimentés que les étudiants novices en médecine) réussiront mieux que les cliniciens plus expérimentés lors d’un examen. Bien que le phénomène ait d’abord été décrit dans le contexte de tests écrits, des constatations semblables ont été signalées dans des examens sur le rendement clinique, y compris des ECOS²⁵. Étant donné les similitudes entre les EMS et les ECOS dans leur utilisation de listes de contrôle, je soutiens que la grille des EMS pourrait faire preuve de la même incapacité à récompenser la compétence clinique que celle observée dans les examens de type ECOS. Si tel est le cas, comment pouvons-nous atténuer ce résultat?

Des tests résistants à l’effet intermédiaire

En 2000, Charlin et ses collègues ont élaboré un nouvel outil d’évaluation appelé le test de concordance de script²⁷. Même si les détails de l’outil dépassent la portée du présent article, ce test est un exemple d’examen écrit où il n’y a pas d’effet intermédiaire. Ses auteurs citent plusieurs explications, y compris le fondement théorique sur lequel repose le test de concordance de script, à savoir la théorie développementale de la compétence clinique.

Par ailleurs, un examen approfondi de ces travaux permet de dégager une autre cause. Un test de concordance de script est normalisé en se fondant sur les réponses fournies par un panel de cliniciens experts (expérimentés). Par conséquent, les grilles de notation tiennent compte des diverses façons nuancées d’exercer la médecine. Des parallèles peuvent être tirés entre ce processus et le concept de faire des essais pilotes avec des questions d’examen. À cette fin, quel effet aurait une mise à l’essai d’EMS avec un certain nombre de cliniciens expérimentés si leurs réponses orientaient l’élaboration des listes de vérification et des vignettes? Autrement, serait-il utile d’effectuer une analyse ultérieure des données de l’examen? Si l’analyse des items est chose courante pour les examens écrits, cet exercice pour les examens du rendement clinique ne l’est pas; l’influence décourageante des travaux par Swanson et van der Vleuten joue probablement un rôle important à cet effet²⁸. Cependant, certains chercheurs ont commencé à explorer l’utilisation d’une analyse des items, tant avec les stations d’ECOS qu’avec les items individuels des listes de vérification des ECOS à titre d’unités d’analyse^29,30. Dans chaque cas, le coefficient de fiabilité de l’examen s’est amélioré lorsque l’analyse statistique était utilisée pour modifier post hoc la grille de notation de l’examen.