S'abonner

Quand l’intelligence artificielle générative répond à Google à propos de la spondyloarthrite : qu’en pense un panel d’experts ? - 26/11/24

Doi : 10.1016/j.rhum.2024.10.392 
F. Verhoeven 1, , O. Fakih 1, C. Miceli Richard 2, T. Pham 3, H. Marotte 4, P. Goupille 5, R. Felten 6, M. Breban 7, T. Lequerré 8, A. Ruyssen-Witrand 9, A. Tournadre 10, L. Pina Vegas 11, P. Claudepierre 12, A. Baillet 13, D. Loeuille 14, F. Costantino 7, C. Lukas 15, E. Dernis 16, D. Wendling 17, C. Prati 18
1 Rhumatologie, CHU de Besançon, Besançon 
2 Service de rhumatologie, CHU de Bicêtre, Le Kremlin-Bicêtre 
3 Rhumatologie, hôpital Sainte-Marguerite, Marseille 
4 Service de Rhumatologie, CHU de Saint-Étienne, Saint-Étienne 
5 Rhumatologie, CHRU de Tours, Tours 
6 Rhumatologie, hôpital Civil, hôpitaux universitaires de Strasbourg, Strasbourg 
7 Rhumatologie, hôpital Ambroise-Paré, Boulogne-Billancourt 
8 Rhumatologie, CHU de Rouen, Rouen 
9 Rhumatologie, hôpital Purpan, Toulouse 
10 Rhumatologie, CHU de Gabriel-Montpied, Clermont-Ferrand 
11 Rhumatologie, hôpital Bichat-Claude-Bernard, AP–HP, Paris 
12 Rhumatologie, hôpital Henri-Mondor, Créteil 
13 Rhumatologie, hôpital Sud, Échirolles 
14 Rhumatologie, CHU de Nancy, Vandœuvre-lès-Nancy 
15 Rhumatologie, hôpital Lapeyronie, Montpellier 
16 Rhumatologie, CHU de Caen, Caen 
17 Service de rhumatologie, CHU de Jean-Minjoz, Besançon 
18 Rhumatologie, CHRU de Besançon, Besançon 

Auteur correspondant.

Résumé

Introduction

Les spondyloarthrites (SpA) représentent un groupe de rhumatismes inflammatoires touchant préférentiellement l’adulte jeune familiarisé avec les nouvelles technologies, et notamment les chatbots ou robots conversationnels. L’ère du COVID a mis en évidence l’augmentation des recherches sur le web pour des questions de santé, mais aussi l’hétérogénéité du contenu retrouvé. Les chatbots sont de plus en plus utilisés dans divers domaines et notamment l’information médicale. Le but de ce travail est d’évaluer, via un panel d’expert, les réponses des deux principaux chatbots à intelligence artificielle (IA) générative aux questions les plus fréquemment posées en France sur les SpA.

Matériels et méthodes

Les 5 questions les plus fréquemment posées en France en juillet 2024 ont été identifiées par une sélection subjective basée sur les mots-clés les plus représentés à l’aide des suggestions de recherche, des requêtes associées Google Trends et autres questions, Les mots-clés utilisés étaient : « spondylarthrite » « spondylarthrite ankylosante » et « spondyloarthrite ». Nous avons ensuite posé ces 5 questions aux deux principaux chatbots à IA générative : ChatGPT 4.0® et Gemini®. Enfin, une fois les réponses obtenues par les chatbots, nous avons soumis ces réponses à un panel de 15 experts français sur les spondyloarthrites (groupe FAST) et nous avons recueilli leur degré d’agrément entre 0 et 10 avec la réponse obtenue.

Résultats

Nous avons ainsi identifié les 5 principales questions posées à Google : 1) Quelles sont les causes de la spondylarthrite ? 2) Quels sont les symptômes de la spondyloarthrite ? 3) Quels sont les traitements de la spondyloarthrite ? 4) La spondyloarthrite, est-ce une maladie grave ? 5) Quelle est l’espérance de vie en cas de spondyloarthrite ? Les réponses obtenues par les chatbots ont été évaluées par le panel d’expert avec des notes allant de 6,2±1,4 à 7,9±0,7 (Tableau 1). L’agrément était meilleur avec ChatGPT qu’avec Gemini pour 4 des 5 réponses. Enfin, Gemini renvoie systématiquement sur le site de l’Assurance Maladie et du Vidal pour obtenir d’autres sources à consulter et oriente les patients vers un médecin. Chat GPT ne renvoie jamais vers d’autres sources utiles et n’oriente qu’une seule fois les patients vers leur médecin.

Discussion

Cette étude permet de mettre en évidence un niveau de réponse plutôt satisfaisant des deux principaux chatbots pour les principales questions à propos de la SpA. L’utilisation de Google trends pour identifier les questions les plus fréquentes permet d’obtenir un panel important pour identifier les questions d’intérêt, mais présente la limite de savoir s’il s’agit bien de patients qui posent cette question. Enfin, les réponses des chatbots peuvent différer en fonction de la personne ou de la répétition de la question. Enfin le prompt est essentiel dans ce genre de travail, mais nous nous sommes basés sur les questions principales des patients et donc sur ce qu’ils peuvent obtenir réellement comme information.

Conclusion

Ce travail permet de voir ce que les patients recherchent comme information sur les SpA ainsi que le type d’information recueillie. Même si l’information obtenue des chatbots n’est pas encore jugée « parfaite » par un panel d’experts, elle est tout de même « plus que satisfaisante ». Ceci nous rassure quant aux informations retrouvées par nos patients, en l’attente bien sûr de quelques améliorations.

Le texte complet de cet article est disponible en PDF.

Plan


© 2024  Publié par Elsevier Masson SAS.
Ajouter à ma bibliothèque Retirer de ma bibliothèque Imprimer
Export

    Export citations

  • Fichier

  • Contenu

Vol 91 - N° S1

P. A97 - décembre 2024 Retour au numéro
Article précédent Article précédent
  • Prescription de bDMARD/tsDMARD chez les patients ayant un rhumatisme inflammatoire chronique et un antécédent de cancer récent
  • M. Dumont, T. Barnetche, E. Gefard-Gontier, R. Beinat, L. Luchetti, A. Badouraly, C. Jeannou, T. Naveau, F. De La Fuente, N. Mehsen, N. Poursac, M.E. Truchetet, C. Richez, T. Schaeverbeke, M. Kostine
| Article suivant Article suivant
  • Étude PRIMA : la parole est aux patients ! Une approche infodémiologique, inédite dans la polyarthrite rhumatoïde, basée sur l’analyse du contenu des réseaux sociaux
  • J. Sellam, L. Attali, S. Tropé, P. Voillot, J. Becker, C. Gaujoux-Viala

Bienvenue sur EM-consulte, la référence des professionnels de santé.
L’accès au texte intégral de cet article nécessite un abonnement.

Déjà abonné à cette revue ?

Mon compte


Plateformes Elsevier Masson

Déclaration CNIL

EM-CONSULTE.COM est déclaré à la CNIL, déclaration n° 1286925.

En application de la loi nº78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, vous disposez des droits d'opposition (art.26 de la loi), d'accès (art.34 à 38 de la loi), et de rectification (art.36 de la loi) des données vous concernant. Ainsi, vous pouvez exiger que soient rectifiées, complétées, clarifiées, mises à jour ou effacées les informations vous concernant qui sont inexactes, incomplètes, équivoques, périmées ou dont la collecte ou l'utilisation ou la conservation est interdite.
Les informations personnelles concernant les visiteurs de notre site, y compris leur identité, sont confidentielles.
Le responsable du site s'engage sur l'honneur à respecter les conditions légales de confidentialité applicables en France et à ne pas divulguer ces informations à des tiers.


Tout le contenu de ce site: Copyright © 2025 Elsevier, ses concédants de licence et ses contributeurs. Tout les droits sont réservés, y compris ceux relatifs à l'exploration de textes et de données, a la formation en IA et aux technologies similaires. Pour tout contenu en libre accès, les conditions de licence Creative Commons s'appliquent.