S'abonner

Évaluation de l’impact des large language learning models sur les articles soumis à Orthopedics & Traumatology: Surgery & Research (OTSR) : une augmentation significative de l’utilisation de l’intelligence artificielle en 2023 - 28/11/23

Evaluation of the impact of large language learning models on articles submitted to Orthopedics & Traumatology: Surgery & Research (OTSR): A significant increase in the use of artificial intelligence in 2023

Doi : 10.1016/j.rcot.2023.10.014 
Gaëlle Maroteau a, Jae-Sung An b, Jérome Murgier c, Christophe Hulet a, Matthieu Ollivier d, e, Alexandre Ferreira a,
a Department of Orthopedics and Traumatology, Unité Inserm Comète 1075, Caen University Hospital, avenue Côte-de-Nacre, 14000 Caen, France 
b Tokyo Medical and Dental University, 1, Chome-5-45 Yushima, 113-8510 Bunkyo City, Tokyo, Japon 
c Service de chirurgie orthopédique, clinique Aguiléra, 21, rue de l’Estagnas, 64200 Biarritz, France 
d Institute of movement and locomotion Department of Orthopedics and Traumatology, St Marguerite Hospital, 270, boulevard Sainte Marguerite, BP 29, 13274 Marseille, France 
e Aix Marseille Unit, APHM, CNRS, ISM, Department of Orthopedics and Traumatology, Sainte-Marguerite Hospital, Institute for Locomotion, Marseille, France 

*Auteur correspondant.

Résumé

Introduction

L’essor de l’intelligence artificielle (IA) dans le secteur médical est incontestable. Récemment, un agent de dialogue nommé ChatGPT (generative pre-trained transformer) a été mis en lumière utilisant les large language learning models (LLLM) pour générer du texte de manière précise et claire sur demande. Cependant, l’impact de l’intelligence artificielle sur la création d’articles scientifiques n’est pas connu. Une étude rétrospective a été réalisée avec pour objectif de répondre aux questions suivantes : premièrement, identifier la présence de texte généré par LLLM avant et après la popularisation de ChatGPT dans les articles soumis dans OTSR ; deuxièmement, déterminer si le type d’article, l’année de soumission et le pays d’origine influençaient la proportion de texte généré au moins en partie par l’IA.

Matériel et méthode

Un total de 390 articles soumis en anglais à OTSR en janvier, février et mars 2022 (n=204) et sur les mêmes mois de 2023 (n=186) ont été analysés. L’ensemble des articles a été analysé à l’aide de l’outil ZeroGPT, qui fournit un taux supposé d’utilisation d’IA exprimé en pourcentage. Une comparaison du taux moyen d’utilisation d’IA a été réalisée entre les articles soumis en 2022 et 2023. Cette comparaison a été répétée en conservant seulement les articles avec pourcentage d’utilisation supposée d’IA les plus importants (supérieur à 10 % et 20 %). Une analyse secondaire a été réalisée afin d’identifier les facteurs de risque de l’utilisation des IA.

Résultats

Le pourcentage moyen d’utilisation suspectée de LLLM dans l’ensemble de la cohorte était de 11 %±6, avec 160 articles (41,0 %) présentant un taux d’IA supposé supérieur à 10 % et 61 (15,6 %) avec un taux d’IA supposé supérieur à 20 %. Une comparaison entre les articles soumis en 2022 et 2023 a révélé une augmentation significative de l’utilisation de ces outils après le lancement de ChatGPT 3,5 (9,4 % en 2022 et 12,6 % en 2023 [p=0,004]). Le nombre d’articles avec taux d’IA supposés supérieurs à 10 % et 20 % était significativement plus élevé en 2023 : > 10 % : 71 articles soit 34,8 % vs 89 articles soit 47,8 % (p=0,008) et > 20 % : 21 articles soit 10,3 % vs 40 articles soit 21,5 % (p=0,002). Une analyse des facteurs de risque de l’utilisation des LLLM a montré que l’origine géographique asiatique des auteurs et l’année de soumission 2023 étaient associées à un taux d’utilisation supposée d’IA plus élevé (taux d’IA>à 20 % origine géographique asiatique : odds ratio [OR]=1,79 [IC95 % : 1,03-3,11] [p=0,029] ; année de soumission : 2023 ; OR = 1,7 [IC95 % :1,1-2,5] [p=0,02]).

Conclusion

Cette étude met en évidence une augmentation significative de l’utilisation des LLLM dans la rédaction des articles soumis à la revue OTSR après le lancement de ChatGPT 3,5. L’utilisation croissante de ces modèles pose des questions sur l’originalité et le plagiat dans la recherche scientifique. L’IA offre des opportunités créatives mais soulève également des défis éthiques et méthodologiques.

Niveau de preuve

III ; étude cas témoin.

Le texte complet de cet article est disponible en PDF.

Mots clés : Intelligence artificielle, ChatGPT, Grands modèles d’apprentissage de la langue, Chatbot, Article scientifique


Plan


 Ne pas utiliser, pour citation, la référence française de cet article, mais celle de l’article original paru dans Orthopaedics &Traumatology: Surgery & Research, en utilisant le DOI ci-dessus.


© 2023  Elsevier Masson SAS. Tous droits réservés.
Ajouter à ma bibliothèque Retirer de ma bibliothèque Imprimer
Export

    Export citations

  • Fichier

  • Contenu

Vol 109 - N° 8

P. 1090-1095 - décembre 2023 Retour au numéro
Article précédent Article précédent
  • Les méconduites scientifiques : plagiat et non-respect des déclarations des conflits ou liens d’intérêt : analyse rétrospective d’une année de soumissions à Orthopaedics & Traumatology: Surgery & Research
  • Henry Coudane, Rémi Kohler, Hervé Maisonneuve, Philippe Beaufils, Jennifer Bosi, Camille Gravelier, Jane-Laure Danan
| Article suivant Article suivant
  • Quel est le taux de texte généré par de l’intelligence artificielle sur une année de publication dans Orthopaedics & Traumatology: Surgery & Research ? Analyse de 425 articles avant versus après la mise en ligne de ChatGPT en novembre 2022
  • Théophile Bisi, Anthony Risser, Philippe Clavert, Henri Migaud, Julien Dartus

Bienvenue sur EM-consulte, la référence des professionnels de santé.
L’accès au texte intégral de cet article nécessite un abonnement.

Déjà abonné à cette revue ?

Elsevier s'engage à rendre ses eBooks accessibles et à se conformer aux lois applicables. Compte tenu de notre vaste bibliothèque de titres, il existe des cas où rendre un livre électronique entièrement accessible présente des défis uniques et l'inclusion de fonctionnalités complètes pourrait transformer sa nature au point de ne plus servir son objectif principal ou d'entraîner un fardeau disproportionné pour l'éditeur. Par conséquent, l'accessibilité de cet eBook peut être limitée. Voir plus

Mon compte


Plateformes Elsevier Masson

Déclaration CNIL

EM-CONSULTE.COM est déclaré à la CNIL, déclaration n° 1286925.

En application de la loi nº78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, vous disposez des droits d'opposition (art.26 de la loi), d'accès (art.34 à 38 de la loi), et de rectification (art.36 de la loi) des données vous concernant. Ainsi, vous pouvez exiger que soient rectifiées, complétées, clarifiées, mises à jour ou effacées les informations vous concernant qui sont inexactes, incomplètes, équivoques, périmées ou dont la collecte ou l'utilisation ou la conservation est interdite.
Les informations personnelles concernant les visiteurs de notre site, y compris leur identité, sont confidentielles.
Le responsable du site s'engage sur l'honneur à respecter les conditions légales de confidentialité applicables en France et à ne pas divulguer ces informations à des tiers.


Tout le contenu de ce site: Copyright © 2026 Elsevier, ses concédants de licence et ses contributeurs. Tout les droits sont réservés, y compris ceux relatifs à l'exploration de textes et de données, a la formation en IA et aux technologies similaires. Pour tout contenu en libre accès, les conditions de licence Creative Commons s'appliquent.