Évaluation de l’impact des large language learning models sur les articles soumis à Orthopedics & Traumatology: Surgery & Research (OTSR) : une augmentation significative de l’utilisation de l’intelligence artificielle en 2023 - 28/11/23
Evaluation of the impact of large language learning models on articles submitted to Orthopedics & Traumatology: Surgery & Research (OTSR): A significant increase in the use of artificial intelligence in 2023

Résumé |
Introduction |
L’essor de l’intelligence artificielle (IA) dans le secteur médical est incontestable. Récemment, un agent de dialogue nommé ChatGPT (generative pre-trained transformer) a été mis en lumière utilisant les large language learning models (LLLM) pour générer du texte de manière précise et claire sur demande. Cependant, l’impact de l’intelligence artificielle sur la création d’articles scientifiques n’est pas connu. Une étude rétrospective a été réalisée avec pour objectif de répondre aux questions suivantes : premièrement, identifier la présence de texte généré par LLLM avant et après la popularisation de ChatGPT dans les articles soumis dans OTSR ; deuxièmement, déterminer si le type d’article, l’année de soumission et le pays d’origine influençaient la proportion de texte généré au moins en partie par l’IA.
Matériel et méthode |
Un total de 390 articles soumis en anglais à OTSR en janvier, février et mars 2022 (n=204) et sur les mêmes mois de 2023 (n=186) ont été analysés. L’ensemble des articles a été analysé à l’aide de l’outil ZeroGPT, qui fournit un taux supposé d’utilisation d’IA exprimé en pourcentage. Une comparaison du taux moyen d’utilisation d’IA a été réalisée entre les articles soumis en 2022 et 2023. Cette comparaison a été répétée en conservant seulement les articles avec pourcentage d’utilisation supposée d’IA les plus importants (supérieur à 10 % et 20 %). Une analyse secondaire a été réalisée afin d’identifier les facteurs de risque de l’utilisation des IA.
Résultats |
Le pourcentage moyen d’utilisation suspectée de LLLM dans l’ensemble de la cohorte était de 11 %±6, avec 160 articles (41,0 %) présentant un taux d’IA supposé supérieur à 10 % et 61 (15,6 %) avec un taux d’IA supposé supérieur à 20 %. Une comparaison entre les articles soumis en 2022 et 2023 a révélé une augmentation significative de l’utilisation de ces outils après le lancement de ChatGPT 3,5 (9,4 % en 2022 et 12,6 % en 2023 [p=0,004]). Le nombre d’articles avec taux d’IA supposés supérieurs à 10 % et 20 % était significativement plus élevé en 2023 : > 10 % : 71 articles soit 34,8 % vs 89 articles soit 47,8 % (p=0,008) et > 20 % : 21 articles soit 10,3 % vs 40 articles soit 21,5 % (p=0,002). Une analyse des facteurs de risque de l’utilisation des LLLM a montré que l’origine géographique asiatique des auteurs et l’année de soumission 2023 étaient associées à un taux d’utilisation supposée d’IA plus élevé (taux d’IA>à 20 % origine géographique asiatique : odds ratio [OR]=1,79 [IC95 % : 1,03-3,11] [p=0,029] ; année de soumission : 2023 ; OR = 1,7 [IC95 % :1,1-2,5] [p=0,02]).
Conclusion |
Cette étude met en évidence une augmentation significative de l’utilisation des LLLM dans la rédaction des articles soumis à la revue OTSR après le lancement de ChatGPT 3,5. L’utilisation croissante de ces modèles pose des questions sur l’originalité et le plagiat dans la recherche scientifique. L’IA offre des opportunités créatives mais soulève également des défis éthiques et méthodologiques.
Niveau de preuve |
III ; étude cas témoin.
Le texte complet de cet article est disponible en PDF.Mots clés : Intelligence artificielle, ChatGPT, Grands modèles d’apprentissage de la langue, Chatbot, Article scientifique
Plan
| ☆ | Ne pas utiliser, pour citation, la référence française de cet article, mais celle de l’article original paru dans Orthopaedics &Traumatology: Surgery & Research, en utilisant le DOI ci-dessus. |
Vol 109 - N° 8
P. 1090-1095 - décembre 2023 Retour au numéroBienvenue sur EM-consulte, la référence des professionnels de santé.
L’accès au texte intégral de cet article nécessite un abonnement.
Déjà abonné à cette revue ?
