In France, at the end of the sixth year of medical studies, students take a national ranking examination including progressive clinical case-based multiple-choice questions (MCQs). We aimed to evaluate the ability of these MCQs for testing higher-order thinking more than knowledge recall, and to identify their characteristics associated with success and discrimination.

We analysed the 72 progressive clinical cases taken by the students in the years 2016–2019, through an online platform.

A total of 72 progressive clinical cases (18 for each of the 4 studied years), corresponding to 1059 questions, were analysed. Most of the clinical cases (n=43, 60%) had 15 questions. Clinical questions represented 89% of all questions, whereas basic sciences questions accounted for 9%. The most frequent medical subspecialties were internal medicine (n=90, 8%) and infectious diseases (n=88, 8%). The most frequent question types concerned therapeutics (26%), exams (19%), diagnosis (14%), and semiology (13%). Level 2 questions (“understand and apply”) accounted for 59% of all questions according to the Bloom's taxonomy. The level of Bloom's taxonomy significantly changed over time with a decreasing number of level 1 questions (“remember”) (P=0.04). We also analysed the results of the students among 853 questions of training ECNi. Success and discrimination significantly decreased when the number of correct answers increased (P<0.0001 both). The success, discrimination, mean score, and mean number of discrepancies did not differ according to the diagnosis, exam, imaging, semiology, or therapeutic type of questions.

Progressive clinical case-based MCQs represent an innovative way to evaluate undergraduate students.

Les questions à réponses multiples (QRM) sont utilisées depuis longtemps pour évaluer les étudiants en médecine. Les dossiers progressifs (DP), dont le principe est basé sur une situation clinique suivie de 12 à 17 QRM où l’étudiant ne peut retourner en arrière, ont été créés en 2016 pour les premières épreuves classantes nationales informatisées (ECNi).

Nous avons analysé les 72 DP passés par les étudiants aux ECNi 2016–2019 sur une plateforme en ligne, ainsi que 60 DP passés pour des ECNi d’entraînement inter-facultaire.

Pour l’étude des ECNi, 72 DP (18 pour chacune des 4 années étudiées), correspondant à 1059 questions, ont été analysés. La plupart des DP (n=43, 60%) comportaient 15 questions. Les questions cliniques représentaient 89% de toutes les questions, tandis que les questions des sciences fondamentales représentaient 9%. Les sous-spécialités médicales les plus fréquentes étaient la médecine interne (n=90, 8%), et les maladies infectieuses (n=88, 8%). Les types de questions les plus fréquents concernaient la thérapeutique (26%), les examens (19%), le diagnostic (14%), et la sémiologie (13%). Les questions de niveau 2 (« comprendre et appliquer »), selon la taxonomie de Bloom, représentaient 59% des questions. Nous avons constaté que le niveau des questions selon la taxonomie de Bloom a évolué entre 2016 et 2019 avec un nombre décroissant de questions de niveau 1 (« connaître ») (p=0,04). Nous avons observé que le succès aux QRM et leur potentiel de discrimination diminuaient significativement lorsque le nombre de bonnes réponses augmentait (p<0,0001). Le succès, la discrimination, le score moyen et le nombre moyen de divergences ne différaient pas selon le type de questions (diagnostic, examens, imagerie, la sémiologie ou le type de questions thérapeutiques).

Les DP basés sur des situations cliniques représentent une façon innovante d’évaluer et classer les étudiants de second cycle.