OpenAI dispose d'un détecteur de texte écrit par l'IA qui fonctionne presque parfaitement. Et il ne veut pas le mettre sur le marché.

Comment sait-on qu’un texte a été généré par un modèle d’intelligence artificielle ? Nous ne pouvons pas. Pas du tout avec certitude, et ceux qui ont tenté de détecter ce type de textes ont échoué. Jusqu'à présent, semble-t-il.

Le détecteur infaillible. Selon des sources proches de l'entreprise citées dans le WSJ, OpenAI dispose d'un système pour créer des filigranes pour les textes générés par ChatGPT, ainsi que d'un outil pour détecter ces marques. Dans TechCrunch, un porte-parole d'OpenAI a confirmé que la société travaillait sur la méthode de filigrane décrite dans le WSJ, mais que le système présente des « complexités » et a un « impact probable sur l'écosystème au-delà d'OpenAI ».

Mais ils ne décident pas de le retirer. Les responsables de l’entreprise se demandent s’il faut ou non la mettre sur le marché. Il existe une division interne : alors que d’un côté il serait de votre responsabilité de faire quelque chose comme ça, de l’autre le lancement de cet outil pourrait nuire à votre entreprise.

Des risques. Comme l'a révélé TechCrunch, les responsables d'OpenAI estiment que bien que ce système soit « techniquement prometteur », il présente quelques problèmes. Par exemple, cela « présente des risques importants que nous évaluons lorsque nous étudions des alternatives, tels que la susceptibilité d'être contourné par de mauvais acteurs et le potentiel d'affecter de manière disproportionnée des groupes tels que les non-anglophones ».

Une tâche jusqu'ici impossible. Plusieurs entreprises ont lancé des outils de détection de texte générés par l’IA, mais aucun d’entre eux ne fonctionne très bien. OpenAI a créé et lancé la sienne début 2023, mais a fini par admettre que son niveau de précision était faible et a même annulé et abandonné cette proposition initiale.

Comment fonctionne le nouveau détecteur. Le mécanisme est relativement simple, même s’il ne fonctionnerait que dans ChatGPT. L'entreprise apporterait de petits changements à la façon dont ChatGPT sélectionne les mots qu'elle génère ensuite, créant ainsi une sorte de marque invisible dans cette écriture qui pourrait ensuite être détectée par un autre outil.

Votre style vous trahit, ChatGPT. C’est-à-dire : OpenAI obligerait ChatGPT à avoir un « style robotique » d’écriture qu’il pourrait ensuite identifier. Les textes seraient toujours de qualité, mais le choix des mots le trahirait. C'est quelque chose qui a d'ailleurs déjà été perçu dans les textes académiques et financiers générés par les modèles d'IA : ils utilisent un langage étrange, et cela nous permet de détecter qu'ils ont été générés de cette manière.

Utile dans certains cas, pas tellement dans d'autres. OpenAI a édité un article de blog publié en mai dans lequel ils abordaient le sujet. Ils indiquent que les filigranes ont démontré « une grande précision et même une efficacité contre les manipulations localisées, comme la paraphrase », mais posent également des problèmes par exemple dans « les systèmes de traduction, ou lorsqu'on demande au modèle d'insérer un caractère spécial entre chaque mot puis de supprimer ce caractère ». .

Facile à simuler. Ces problèmes font que selon OpenAI, son outil et son système ont un problème : il est « trivial de contourner » son fonctionnement si un « mauvais acteur », comme un cybercriminel, tente de le faire. L'entreprise ne précise à aucun moment si elle finira par lancer l'outil, mais il semble qu'il existe au moins un moyen intéressant de réaliser quelque chose qui semblait jusqu'à présent impossible. Ou du moins, pour atténuer les abus ou les usages interdits, comme ceux qui gangrènent le monde académique depuis l’apparition de ChatGPT. Peut-être que les étudiants ne peuvent finalement pas utiliser ce chatbot pour faire leurs devoirs.

À Simseo | Jusqu’à présent, Microsoft et OpenAI étaient de grands alliés. Jusqu'à maintenant