Au sein de notre faculté de médecine, le certificat de compétences cliniques (C3) est délivré après un ECOS (examen clinique objectif structuré) depuis 2018. Alors que les épreuves académiques traditionnelles par QRMs explorent les connaissances déclaratives, le format ECOS, basé sur des méthodes de simulation permet d’évaluer les compétences techniques et non techniques des étudiants. L’objectif principal de l’étude était de faire une analyse descriptive rétrospective de la mise en place de cette modalité d’évaluation sur la période 2018–2021.

Les étudiants effectuaient une session formative en 5^e année puis une session certificative en 6^e année. Après une réunion préparatoire, le parcours était constitué de 7 ateliers successifs de sept minutes (iconographie, cas clinique court, pharmacologie, anamnèse/examen clinique, synthèse avec reformulation, annonce diagnostique à un patient standardisé, geste technique contextualisé). Compte-tenu d’un grand nombre d’étudiants par promotion, les étudiants répartis en groupe étaient évalués séparément sur plusieurs demi-journées, avec des sujets et des évaluateurs différents pour chaque demi-journée. Leurs performances aux ateliers ont pu être comparé à leur performance aux iECN (Épreuves Classantes Nationales) intervenue quelques mois plus tard.

Plus de 750 étudiants ont été évalués en trois ans, au travers de 5 sessions de C3 sur chaque site. Les notes obtenues par les étudiants étaient hétérogènes pour chaque atelier alors que les moyennes générales restaient homogènes sur les deux sites de la faculté, sans impact du site d’évaluation. Des différences entre les groupes de passage pouvaient survenir en fonction du sujet de l’atelier et de l’évaluateur, mais ces effets étaient en diminution au cours des sessions successives, de 2018 à 2021. La relation était faible (ou nulle) entre les notes obtenues aux ateliers formatifs et certificatifs pour un même type d’atelier mais la relation était plus importante entre la moyenne générale au formatif et au certificatif (r=0,30 ; p<0,0001). Si de nombreux étudiants n’atteignaient pas la note de 10/20 à un atelier, peu d’étudiants n’atteignaient pas la moyenne générale. La performance globale au C3 était corrélée mais faiblement à la performance à l’iECN (site 1 : r=−0,32 ; p<0,0001 ; site 2 : r=−0,31 ; p<0,0001). Le coefficient r est négatif car plus la note au C3 est importante, plus le rang de classement est faible. Le rang de classement au C3 dans la promotion était peu corrélé au rang de classement iECN pour le premier décile/quartile (r=0,068 [p=0,44]/0,24 [p=0,07]) et le dernier décile/quartile (r=0,21 [p=0,019]/0,19 [p=0,17]) site 1. De même pour ces déciles/quartiles, le rang de classement à l’iECN dans la promotion était peu corrélé au rang de classement au C3. Le choix d’une spécialité médicale à enjeu de compétences différent (psychiatrie, chirurgie), ne semblait pas être un facteur discriminant pour identifier un sous-groupe ayant de meilleures performances dans un atelier.

Les différences observées en fonction des demi-journées pouvaient traduire des disparités en termes de difficulté des sujets, de grilles d’évaluations, et d’évaluation, mais aussi des disparités entre les groupes d’étudiants au sein d’une même promotion. Les paramètres de fiabilité de l’épreuve s’amélioraient avec l’expérience du centre évaluateur (sujets, grilles de correction, évaluateurs). Ces différences étaient toujours plus faibles lors de l’analyse d’une somme de performance. Les premiers et derniers quartiles des ECN et du C3 n’étaient pas formés par les mêmes étudiants soulignant une différence de performances importante aux deux examens ce qui souligne la complémentarité de ces formats d’évaluation. Dans le cadre de la réforme du 2^e cycle (R2C), l’introduction d’une note de compétence au futur iECN devrait permettre de mieux évaluer les compétences développées au cours du deuxième cycle et motiver les étudiants à acquérir des compétences en stage via un alignement pédagogique. La mise en place des ECOS nécessite un important investissement de l’équipe pédagogique, qui a pour but d’en augmenter la validité et la fiabilité, tout en atteignant un nombre d’ateliers suffisant.

Cette étude montre l’expérience originale de notre faculté dans le domaine de l’évaluation des compétences, tant en nombre de passages étudiants observés qu’en durée de suivi sur un modèle identique. Elle illustre la faisabilité de ce type d’évaluation ainsi que sa fiabilité, qui s’améliore avec l’expérience du centre et la somme des performances de chaque étudiant.