La difficulté croissante de détecter le texte généré par l’IA par rapport au texte généré par l’homme

Les outils d’intelligence artificielle (IA) générative sont utilisés pour créer du texte, des images et des vidéos, ce qui a un impact sur la façon dont la société consomme et produit du contenu en ligne. À mesure que cette technologie continue d’évoluer, il devient de plus en plus difficile de faire la différence entre le contenu généré par l’IA et celui généré par l’homme.

La détermination de l'intégrité des informations en ligne, en particulier du texte, est l'objet de recherche actuel du laboratoire Penn State Information Knowledge and Web (PIKE), dirigé par Dongwon Lee, professeur au Collège des sciences et technologies de l'information de Penn State.

Lors d'une discussion avec Penn State News, Lee a parlé de l'importance d'examiner l'intégrité des textes générés par l'IA et trouvés sur Internet.

Parlez-nous de la motivation de votre recherche.

D'une manière générale, je m'intéresse à la qualité de l'information. Les outils d’IA sont de plus en plus puissants en termes de qualité de génération et sont capables de créer un texte presque impossible à distinguer du contenu créé par l’homme. Même s’il existe de bonnes utilisations pour de tels outils, leurs implications sont également préoccupantes.

Dans les situations impliquant la confidentialité et la sécurité, par exemple, il est essentiel de savoir si quelque chose a été écrit par un humain, par l'IA ou par une sorte d'hybride.

En outre, la montée des fausses nouvelles et de la désinformation ces dernières années rend important de savoir d’où vient le contenu écrit que nous voyons sur le Web, en particulier si nous prenons des décisions basées sur ces informations, et si ce contenu généré par l’IA est véridique. et fondé sur des faits ou non.

Comment le texte généré par l’IA se compare-t-il au texte écrit par des humains ?

Le texte généré par l’IA présente souvent ce que nous considérons comme des caractéristiques non humaines révélatrices, mais nos recherches montrent que les gens ne peuvent pas toujours les déterminer par eux-mêmes. En fait, les expériences menées par notre laboratoire ont révélé que les humains ne peuvent distinguer le texte généré par l’IA qu’environ 53 % du temps, dans un contexte où les devinettes aléatoires atteignent une précision de 50 %.

Lorsque les gens sont formés pour la première fois sur la manière de différencier ces deux types, ou même lorsque plusieurs personnes travaillent en équipe pour mieux détecter le texte généré par l’IA, la précision finale ne s’améliore pas beaucoup. Par conséquent, dans l’ensemble, les gens ne peuvent pas vraiment bien distinguer le texte généré par l’IA.

D'un autre côté, la meilleure solution d'IA que nous avons créée analyse le texte et donne une réponse fiable (avec une précision de 85 à 95 %) quant à savoir si le contenu a été écrit par un humain ou créé avec l'IA.

À quoi ressemble cette solution ?

En simplifiant grossièrement, notre solution est un classificateur binaire, qui est un algorithme d'apprentissage automatique qui classe les données en deux groupes mutuellement exclusifs sur la base d'une règle de classification. Le texte est présenté, et notre logiciel analyse le texte pour nous donner une réponse par oui ou par non : oui, c'est humain ; non, c'est l'IA, avec un certain score de probabilité indiquant la confiance de la réponse.

Notre précédente solution d'IA s'appuyait en grande partie sur les modèles linguistiques que nous avons observés lorsque nous avons examiné collectivement des textes générés par l'homme, tels que la fréquence à laquelle les humains utilisent certains adjectifs, mots formels et mots émotionnels. Lorsque le classificateur identifie des modèles de langage qui diffèrent de ceux utilisés habituellement par les écrivains humains, nous en déduisons qu’ils sont plus probablement créés par l’IA.

Comment vos solutions répondront-elles aux améliorations évolutives de la manière dont l’IA est utilisée pour générer du contenu ?

À mesure que les outils d'IA générative tels que OpenAI ChatGPT et Google Gemini s'améliorent rapidement, la qualité des textes générés par ces outils s'améliore également rapidement, ce qui rend de plus en plus difficile pour les humains de détecter le texte généré par l'IA et l'intégrité des informations qu'il contient.

Notre dernière solution de détection d'IA qui atteint la meilleure précision de détection est réalisée en affinant le modèle de réseau neuronal le plus avancé. Un tel modèle est appelé solution boîte noire, ce qui signifie qu'il fonctionne très bien, mais nous ne comprenons pas vraiment pourquoi il fonctionne bien et pourquoi l'IA considère certains textes comme générés par l'IA et non comme écrits par l'homme.

Pour des tâches simples, il peut être acceptable de ne pas pouvoir expliquer l'efficacité de la solution. Cependant, pour les tâches critiques dans le domaine de la santé ou militaire, nous avons besoin de savoir comment se termine un modèle d’IA. Par conséquent, nous disposons actuellement d’un outil raisonnablement précis pour détecter le texte généré par l’IA, mais nous ne pouvons pas vraiment expliquer pourquoi il le fait. Atténuer ce problème et améliorer notre compréhension est l’un des défis auxquels sont confrontés les chercheurs en IA.

En attendant, nous jouons au chat et à la souris avec les constructeurs d’outils d’IA qui créent des générateurs de contenu de plus en plus sophistiqués. Les personnes qui construisent le bâtiment n'opèrent pas nécessairement avec de mauvaises intentions, mais les choses qu'elles créent peuvent être utilisées à mauvais escient et utilisées de manière abusive, à la fois par des utilisateurs curieux mais honnêtes et par des adversaires malveillants. Dans le secteur politique, il y a par exemple les fausses nouvelles ; pendant leurs études, les étudiants peuvent utiliser l’IA comme substitut à l’apprentissage.

En tant que chercheurs en sécurité, nous sommes souvent en retard, répondant et réagissant à l’évolution des technologies. Alors que nous travaillons à développer des solutions, nous voulons nous positionner pour parer aux attaques potentielles en essayant d'anticiper le prochain mouvement de notre adversaire.

Les outils d’IA sont omniprésents et la société doit apprendre à les utiliser correctement. Alors que les solutions permettant d'identifier le texte généré par l'IA continuent d'évoluer, les utilisateurs individuels doivent être attentifs à la véracité du contenu qu'ils rencontrent et à la source du contenu, notamment si le contenu a été écrit par des humains ou par l'IA. Nous pouvons éviter les préjudices, causés par de fausses nouvelles ou la désinformation, par exemple, en nous demandant si ce que nous lisons a du sens et en vérifiant les sources pour voir si c'est vrai ou non.