Les détecteurs GPT peuvent être biaisés contre les écrivains anglais non natifs

Dans un article d’opinion publié le 10 juillet dans la revue Motifs, les chercheurs montrent que les programmes informatiques couramment utilisés pour déterminer si un texte a été écrit par l’intelligence artificielle ont tendance à faussement étiqueter les articles écrits par des locuteurs non natifs comme générés par l’IA. Les chercheurs mettent en garde contre l’utilisation de tels détecteurs de texte IA pour leur manque de fiabilité, ce qui pourrait avoir des impacts négatifs sur les individus, y compris les étudiants et les candidats à un emploi.

« Notre recommandation actuelle est que nous devrions être extrêmement prudents et peut-être essayer d’éviter d’utiliser ces détecteurs autant que possible », déclare l’auteur principal James Zou, de l’Université de Stanford. « Cela peut avoir des conséquences importantes si ces détecteurs sont utilisés pour examiner des éléments tels que des demandes d’emploi, des essais d’entrée à l’université ou des devoirs au lycée. »

Des outils d’IA comme le chatbot ChatGPT d’OpenAI peuvent rédiger des essais, résoudre des problèmes de sciences et de mathématiques et produire du code informatique. Les éducateurs à travers les États-Unis sont de plus en plus préoccupés par l’utilisation de l’IA dans le travail des étudiants et beaucoup d’entre eux ont commencé à utiliser des détecteurs GPT pour filtrer les devoirs des étudiants. Ces détecteurs sont des plateformes qui prétendent pouvoir identifier si le texte est généré par l’IA, mais leur fiabilité et leur efficacité restent à tester.

Zou et son équipe ont testé sept détecteurs GPT populaires. Ils ont exécuté 91 essais en anglais écrits par des anglophones non natifs pour un test de compétence en anglais largement reconnu, appelé Test of English as a Foreign Language, ou TOEFL, à travers les détecteurs. Ces plates-formes ont incorrectement étiqueté plus de la moitié des essais comme étant générés par l’IA, un détecteur signalant près de 98 % de ces essais comme étant écrits par l’IA. En comparaison, les détecteurs ont pu classer correctement plus de 90 % des essais écrits par des élèves de huitième année aux États-Unis comme étant d’origine humaine.

Zou explique que les algorithmes de ces détecteurs fonctionnent en évaluant la perplexité du texte, ce qui explique à quel point le choix des mots est surprenant dans un essai. « Si vous utilisez des mots anglais courants, les détecteurs donneront un faible score de perplexité, ce qui signifie que mon essai sera probablement signalé comme généré par l’IA. Si vous utilisez des mots complexes et plus fantaisistes, il est plus susceptible d’être classé comme humain écrit par le algorithmes », dit-il. En effet, les grands modèles de langage comme ChatGPT sont formés pour générer du texte avec une faible perplexité afin de mieux simuler la façon dont un humain moyen parle, ajoute Zou.

En conséquence, des choix de mots plus simples adoptés par des écrivains anglais non natifs les rendraient plus vulnérables à être étiquetés comme utilisant l’IA.

L’équipe a ensuite placé les essais TOEFL écrits par l’homme dans ChatGPT et l’a incité à modifier le texte en utilisant un langage plus sophistiqué, notamment en remplaçant des mots simples par un vocabulaire complexe. Les détecteurs GPT ont marqué ces essais édités par l’IA comme écrits par des humains.

« Nous devons être très prudents quant à l’utilisation de l’un de ces détecteurs dans les salles de classe, car il y a encore beaucoup de préjugés, et ils sont faciles à tromper avec juste le minimum de conception rapide », dit Zou. L’utilisation de détecteurs GPT pourrait également avoir des implications au-delà du secteur de l’éducation. Par exemple, les moteurs de recherche comme Google dévaluent le contenu généré par l’IA, ce qui peut par inadvertance réduire au silence les écrivains non natifs anglais.

Alors que les outils d’IA peuvent avoir des impacts positifs sur l’apprentissage des élèves, les détecteurs GPT doivent être encore améliorés et évalués avant d’être utilisés. Zou dit que la formation de ces algorithmes avec des types d’écriture plus diversifiés pourrait être un moyen d’améliorer ces détecteurs.