Les outils d’intelligence artificielle (IA), bien que bénéfiques pour la collecte et l’analyse de données, pourraient également faciliter la fraude scientifique. Les détecteurs d’IA peuvent aider à atténuer ce problème, mais leur efficacité dépend de leur capacité à suivre les progrès de l’IA. De plus, de nombreuses méthodes pour échapper à la détection d’IA existent et leur sophistication en constante évolution rend la tâche encore plus difficile. Ainsi à partir d’un texte généré par l’IA, nous avons souhaité : 1) évaluer les sites de détection d’IA sur un texte généré entièrement par l’IA, 2) tester les méthodes décrites pour échapper à la détection d’IA et 3) évaluer l’efficacité de ces méthodes pour échapper à la détection d’IA sur les sites testés précédemment.

Tous les sites de détection d’IA n’ont pas la même efficacité pour détecter un texte généré par l’IA et certaines techniques pour échapper à la détection d’IA pourraient rendre un texte produit par IA quasi-indétectable.

À cette fin nous avons créé un texte avec ChatGPT-4 (Chat Generative Pre-trained Transformer) et l’avons soumis à 11 sites de détection d’IA (Originality, ZeroGPT, Writer, Copyleaks, Crossplag, GPTZero, Sapling, Content at scale, Corrector, Writefull et Quill), avant et après l’application de stratégies pour minimiser la détection d’IA. Les stratégies utilisées pour minimiser la détection d’IA étaient l’amélioration des messages de commande dans ChatPGT, l’introduction d’erreurs grammaticales mineures comme la suppression de virgules, le paraphrasage, et la substitution de lettre latines par des lettres cyrilliques similaires (a et o) qui est aussi une méthode utilisée par ailleurs pour échapper à la détection du plagiat. Nous avons également testé l’efficacité de ces sites à correctement identifier un texte scientifique écrit par un humain en 1960.

Sur le texte initial généré par l’IA, 7 des 11 détecteurs concluent à un texte majoritairement écrit par l’humain. Ensuite l’introduction de modifications simples, telles que la suppression de virgules ou le paraphrasage peuvent diminuer efficacement la détection d’IA et rendre le texte humain pour l’ensemble des détecteurs. De plus le remplacement de certaines lettres latines par des lettres cyrilliques peut rendre un texte d’IA totalement indétectable. Enfin nous observons que de manière paradoxale certains sites détectent une proportion importante d’IA dans un texte écrit par un humain.

Les détecteurs d’IA ont une efficacité faible et des modifications simples peuvent permettre d’échapper facilement même aux détecteurs les plus robustes. L’évolution rapide de l’IA générative pose des questions sur l’avenir de la rédaction scientifique mais aussi sur la détection de la fraude scientifique telle que la fabrication de données.

III ; étude cas témoin.