Détecter les textes générés avec ChatGPT est extrêmement compliqué. Cet algorithme se vante de les chasser à 99%

Pourquoi faire vos devoirs si ChatGPT peut le faire tout seul ? L’émergence de ce modèle d’IA générative a soulevé un débat unique dans le monde académique. La qualité des textes générés est telle que détecter si, par exemple, un projet de classe a été écrit par un élève humain ou par ChatGPT semblait presque impossible. Jusqu’à présent, ils pointent du doigt Gizmodo.

Un détecteur presque parfait ? Une équipe de chercheurs de l’Université du Kansas a publié une nouvelle étude consacrée à ce sujet. Ils y décrivent un algorithme capable de détecter des textes scientifiques écrits par ChatGPT avec une précision de plus de 99 %.

Comment ça marche. Dans cette étude, l’équipe a sélectionné un ensemble de 64 articles scientifiques écrits par des auteurs humains pour former ce modèle. Après avoir introduit ces données dans ChatGPT, ils ont produit un ensemble de 128 articles d’IA avec un total de 1 276 paragraphes qui n’avaient aucun sens scientifique. Ce que les scientifiques ont fait, c’est utiliser ces paragraphes pour construire leur algorithme de détection ChatGPT.

Des indices pour détecter un texte généré par l’IA. Au cours de ce processus, les chercheurs ont pu détecter certaines des clés qui différencient les textes humains de ceux générés par ChatGPT. Les écrivains humains écrivent des paragraphes plus longs avec un vocabulaire plus large, et utilisent fréquemment des mots comme « cependant », « mais » ou « bien que ». De plus, ChatGPT n’est pas aussi spécifique citant des références ou mentionnant le travail d’autres scientifiques.

Travaux. Après avoir créé l’algorithme, ils l’ont mis à l’épreuve. Ils lui ont proposé 30 vrais articles et 60 articles écrits par ChatGPT, et au total ils avaient tous 1 210 paragraphes. L’algorithme a été capable de détecter des articles entiers écrits par ChatGPT 100 % du temps, bien que les choses se soient un peu dégradées si les paragraphes étaient analysés : là, la précision était de 91 %.

Applicable à d’autres disciplines. Bien que le domaine de ce détecteur soit celui des textes scientifiques, les chercheurs affirment que cette méthodologie peut être appliquée à d’autres domaines. Il n’est actuellement pas utile pour corriger des articles académiques, mais cette « preuve de concept » pourrait finir par être la base d’un système plus robuste et précis en l’alimentant avec un ensemble de données plus important.

Le jeu du chat et de la souris. Malgré la promesse de ces résultats, l’évolution de ChatGPT et de ses rivaux est toujours étonnante et il est probable que la détection de texte généré par de nouveaux modèles sera plus difficile à détecter. Il est probable que nous soyons dans une sorte de jeu du chat et de la souris dans lequel si d’un côté les outils génèrent des textes (ou des images) quasiment indiscernables de ceux créés par l’être humain, d’autres progressent en tentant de détecter les textes créés par Machines.

L’étiquetage, l’autre solution. Le défi technologique est énorme, mais dans l’Union européenne, il semble déjà clair que la solution, au moins dans le cas des images, est de les étiqueter lors de leur génération. Chaque image créée par l’IA doit avoir un « autographe cryptographique » qui n’est pas visible mais permet l’identification et la traçabilité de l’image. L’UE est déjà claire sur le fait que cet étiquetage doit être effectué par la plateforme qui génère les images, et il reste maintenant à voir si cette mesure est étendue et finit par s’appliquer d’une manière ou d’une autre aux textes générés par l’IA.