L’évaluation des étudiants et des résidents

Comment rendre visible ce qui ne l’est pas?

Le souci en évaluation, c’est que l’apprentissage est, hélas, invisible. On ne peut jamais visualiser avec précision les apprentissages des étudiants ou des résidents. Le défi est donc de mettre en place un dispositif qui permettra de rendre visibles les apprentissages afin de les dénombrer ou de les observer en assurant la validité et la fidélité des inférences. Laurier, Tousignant et Morissette⁵ situent l’évaluation dans une dynamique de changement, l’apprentissage représentant la résultante entre une situation finale et une situation initiale. Dans le cadre d’une approche par compétences, il est alors possible de mettre en œuvre un certain nombre de stratégies qui permettront d’inférer la compétence évaluée à partir d’un ensemble de performances. Tout l’art, en quelque sorte, consistera à choisir avec discernement les performances (p. ex. questions à un examen, études de cas, ou encore examen physique) qui permettront à l’évaluateur de prendre une décision éclairée sur la valeur des apprentissages réalisés.

Avoir en tête le contrat d’évaluation

Le contrat d’évaluation est emprunté au concept de contrat didactique développé par Brousseau⁶. Grosso modo, les apprenants et les professeurs négocient de façon plus ou moins explicite les éléments de l’évaluation. On peut l’illustrer par la propension qu’ont certains apprenants, se sachant évalués de façon sommative, à adopter des comportements visant à montrer la plus belle facette de leurs compétences tout en essayant de masquer les facettes moins reluisantes. Un autre exemple relativement classique est le fait que les apprenants vont étudier en mettant l’accent principalement sur les apprentissages qui seront évalués au détriment de ceux qui ne le seront pas. Tous les apprentissages sont importants, mais ceux qui sont évalués et qui peuvent avoir un impact sur le déroulement ultérieur de leur parcours seront alors jugés plus… importants!

Évaluer, c’est respecter une démarche rigoureuse

Pour bien des gens, l’évaluation se réduit à une note (p. ex. 90 %) ou une cote (p. ex. réussite). Ces dimensions sont certes importantes, car elles font effectivement partie de la démarche d’évaluation et en représentent certainement la composante la plus visible. Or, pour arriver à émettre un jugement, le médecin évaluateur devra mettre en œuvre une démarche qui peut être formelle ou informelle, instrumentée ou pas, planifiée ou pas. Dans tous les cas, l’évaluation sera composée des dimensions qui suivent : la planification, la cueillette d’information, le jugement et la décision, et enfin, la communication des résultats. Si la démarche est formelle, instrumentée et planifiée, comme c’est souvent le cas au pré-externat, les dimensions seront alors facilement observables. Les apprenants seront informés des sessions d’examen (planification). Au terme de l’administration des examens, des enseignants procéderont à la correction ou cette dernière, automatisée, sera exécutée (cueillette de l’information). Au regard des informations que la correction aura révélées, un jugement sera formé et une décision sera prise (p. ex. procéder à une reprise d’examen pour les apprenants qui n’auront pas atteint le seuil de passation). Enfin, on procédera à la communication de la décision (p. ex. faire parvenir la note à l’apprenant ou encore le convoquer à une reprise d’examen).

La situation que je viens d’illustrer est caractéristique d’une démarche d’évaluation en contexte sommatif. Or, il est possible d’en identifier les dimensions dans un contexte où l’évaluation est informelle, non instrumentée et non planifiée, comme c’est souvent le cas en contexte formatif. Une enseignante qui répond à une question d’un étudiant ou d’un résident a recours aux mêmes dimensions, mais en les traitant de façon quasi simultanée. La planification sera alors minimale, même si des enseignants très compétents et expérimentés nous diront que les questions sont souvent prévisibles. L’enseignante procédera alors à la cueillette des données en jugeant de la valeur de la question. Elle exercera par la suite son jugement d’expert et prendra une décision (p. ex. relancer par une autre question ou faire un lien avec une notion préalablement enseignée) et, enfin, elle la communiquera à l’apprenant. On pourrait comparer ces 2 modalités au raisonnement clinique de type 1 et de type 2⁷. Celui de type 1 (rapide et intuitif) s’apparenterait à l’exemple donné en contexte formatif, et celui de type 2 (logique et analytique) s’apparenterait, quant à lui, à l’exemple donné en contexte sommatif.

Accepter que l’évaluation ne sera jamais totalement objectif

L’évaluation, qu’elle soit formative ou sommative, est d’abord et avant tout, comme nous l’avons vu au point précédent, un jugement. Par définition, un jugement possède forcément une composante subjective. On pourrait penser, à tort, que les questions à choix multiples sont objectives. Pourtant, il suffirait d’administrer la plupart des questions relatives à une petite fraction de la matière enseignée pour faire en sorte que cet examen soit biaisé et non illustratif des apprentissages réalisés par les apprenants. Ce qui est objectif dans le cas des questions à choix multiples, c’est la correction seulement et non la question en elle-même. Dans d’autres contextes où il faudra observer, comme c’est le cas avec les examens cliniques objectifs structurés, de nombreux chercheurs s’intéressent aux conditions pouvant justement réduire la subjectivité⁸. Il faut en faire son deuil : l’évaluation est une activité humaine imparfaite. Cela étant dit, il faut travailler sans relâche pour éliminer les écueils pouvant affecter la validité des évaluations.

Mesurer ou observer : telle est la question

En évaluation des apprentissages, il est possible de s’appuyer sur 2 types d’informations : des mesures ou des observations. Les mesures se réfèrent le plus souvent à des scores obtenus, par exemple, à des questions à choix multiples. Le nombre de « bonnes réponses » fait alors office de « mesure » : plus le nombre de bonnes réponses est élevé, meilleur est l’apprentissage. Ce lien n’est pas toujours vrai, mais c’est l’esprit associé à la mesure des apprentissages. Au pré-externat, on mesure donc généralement la progression des apprentissages. À l’externat et à la résidence, on s’appuie davantage sur des observations, qui font appel à des outils de consignation de ces dernières comme des fiches signalétiques ou des grilles critériées s’appuyant sur le référentiel CanMEDS⁹. La nature des informations recueillies sera alors fonction du contexte. Il convient d’identifier les attributs de ce contexte afin de mettre au point ou d’employer des outils qui y sont adaptés.