ChatGPT rédige des études médicales et économiques. Nous le savons parce qu'il utilise des mots étranges

Amazon le sait bien : tant de livres écrits par l’IA sont publiés qu’ils ont dû limiter l’auto-édition. La capacité des modèles d’IA générative comme ChatGPT à écrire des textes est si remarquable que beaucoup les utilisent non seulement pour écrire ces livres et essayer d’en vivre, mais ils commencent également à être utilisés dans des études médicales et économiques.

Découvrir les IA qui écrivent est presque impossible. Détecter si une IA est l’auteur d’un texte est de plus en plus difficile, et même l’outil proposé par OpenAI lui-même ne semble pas d’une grande utilité. Néanmoins, il existe des moyens d'essayer de saisir ce type de textes, et l'un d'eux réside précisément dans l'utilisation qu'ils font de notre vocabulaire.

Ce mot semble étrange. C’est exactement ce qu’ont fait certains experts qui ont analysé l’utilisation de mots étranges dans certaines études médicales ou économiques. Ce qu'ils font, c'est collecter des textes de services tels que Google Scholar avec une multitude d'études de médecine économique, les classer par année, puis rechercher des mots « rares » rarement utilisés dans ces textes. Par exemple, le mot « delve » en anglais semble être particulièrement utilisé par ChatGPT au lieu de mots plus courants comme « explorer » ou « research ».

Ça sent l'IA. Jeremy Nguyen, expert en la matière, détecté par exemple, comment ce mot a grimpé en flèche dans les années 2023 et surtout en 2024 : nous avons à peine couvert un quart de cette année et l'apparition du mot « delve » est presque aussi élevée que toute l'année 2023, au cours de laquelle il était déjà anormalement élevé. haut.

Et aussi dans les textes économiques et mathématiques. Un autre utilisateur nommé William Hickman a révélé un événement très similaire dans les textes économiques et des mathématiciens dans lequel la fréquence du terme « fouiller » était également absurdement élevée après le lancement de ChatGPT en novembre 2022. Il existe d'autres mots « rares » et peu utilisés dans le langage courant qui apparaissent dans ces textes et peuvent trahir une IA telle que auteur. Par exemple, « mosaïque » ou « remarquable », qui ne sont peut-être pas utilisés par autant d'auteurs, mais peuvent l'être par certains, ce qui rend cette « détection » difficile.

Ce n'est pas forcément mauvais. Comme l'explique Nguyen, utiliser ChatGPT pour ces études n'est pas nécessairement une mauvaise chose. Ces modèles d’IA génératifs peuvent être, comme dans d’autres cas, des outils intéressants pour les chercheurs, qui peuvent gagner du temps dans la rédaction des études et investir davantage dans leur révision et s’assurer que tout est correct. Nguyen lui-même a indiqué qu'il utilise lui-même GPT-4 pour éditer certains textes et programmer, et il met en garde à ce sujet dans chacune des études qu'il publie. Les chercheurs de Microsoft aussi avoir reconnu écrire des études « avec l'aide de ChatGPT » récemment.

Mais il y a aussi des erreurs. Cependant, d'autres auteurs utilisent ces outils sans le savoir et sont pris en flagrant délit d'erreurs triviales telles que le copier-coller direct des réponses ChatGPT. Y compris, par exemple, des phrases qui indiquent clairement que c'est le modèle d'IA qui écrit tout. Dans un exemple récent Le début d'une étude commençait par « Bien sûr, voici une introduction possible au sujet : » puis le reste du texte généré par le chatbot est apparu.

Et certains encore pire. Dans d'autres cas, l'étude se trahit directement et de façon encore plus évidente lorsqu'elle apparaît dans le texte. apparaît cette excuse typique de ChatGPT lorsque vous ne pouvez pas répondre à quelque chose et dit ça de « Je suis vraiment désolé, mais je n'ai pas accès aux informations en temps réel… ».

Il y a même des études à ce sujet. La popularité de ChatGPT dans ce type de domaine est démontrée par des études comme celle publiée il y a quelques jours par le chercheur Andrew Gray de l’University College London. Il y parle de la « contamination » de ChatGPT et de la façon dont ce chatbot a fini par devenir une présence « disproportionnée » dans la littérature universitaire.

Images | Nasqret avec Midjourney

À Simseo | L’IA a provoqué un séisme parmi les enseignants et les écoles. Un an plus tard, voici comment ils l'adoptent pour améliorer leurs cours