Un simple test révèle : Bot ou humain ?

Bien que ChatGPT en soit encore à ses balbutiements, son apparition a touché pratiquement tous les domaines reposant sur la technologie. C’est-à-dire qu’à peu près tout est ou sera bientôt touché par elle.

Il assiste les chercheurs, les éducateurs, les étudiants, les banquiers, les médecins et les avocats. Il est très prometteur pour rationaliser les opérations, améliorer l’efficacité, réduire les coûts et peut-être révolutionner la façon dont beaucoup de choses ont été faites depuis des décennies.

Mais comme le montrent un nombre croissant de rapports au cours des derniers mois, le potentiel d’erreur, d’utilisation abusive ou de sabotage est une préoccupation croissante.

Des chercheurs de l’Université de Californie à Santa Barbara et de l’Université Xi’an Jiaotong en Chine se sont concentrés sur le potentiel des clients impliqués dans des conversations en ligne à être arnaqués par des robots IA se faisant passer pour des humains. Leur article est publié sur le arXiv serveur de préimpression.

« De grands modèles de langage comme ChatGPT ont récemment démontré des capacités impressionnantes dans la compréhension et la génération du langage naturel, permettant diverses applications, notamment la traduction, la rédaction d’essais et le bavardage », a déclaré Hong Wang, l’un des auteurs de l’article. « Cependant, on craint qu’ils ne soient utilisés à des fins malveillantes, telles que la fraude ou les attaques par déni de service. »

Il a cité des scénarios possibles tels que des pirates inondant tous les canaux de service client des compagnies aériennes ou des sociétés bancaires ou des intérêts malveillants bloquant les lignes d’urgence 911.

Avec la puissance croissante des grands modèles de langage, les méthodes standard de détection des bots peuvent ne plus être efficaces. Selon Wang, « l’émergence de grands modèles de langage tels que GPT-3 et ChatGPT a encore compliqué le problème de la détection des chatbots, car ils sont capables de générer un texte de haute qualité de type humain et d’imiter le comportement humain dans une large mesure ».

En fait, certains affirment aujourd’hui que ChatGPT a passé le test de Turing, la norme de mesure de l’intelligence artificielle depuis sept décennies. De nouvelles approches pour détecter la sortie générée par la machine sont nécessaires.

L’équipe de Wang a conçu un modèle qui peut aider à détecter les robots se faisant passer pour des humains. FLAIR (un acronyme quelque peu abrégé pour Find Large Language Model Authenticity via a Single Inquiry Response) élimine les poseurs avec des questions simples qui reposent sur des tâches que les bots ont du mal à exécuter mais que les humains peuvent gérer facilement, a déclaré Wang.

« Ces questions sont conçues pour exploiter les différences dans la manière dont les robots et les humains traitent et génèrent le langage », a-t-il déclaré.

Les questions exigent la capacité de répondre à des exercices nécessitant des compétences en matière de comptage, de substitution de chiffres ou de lettres, de reconnaissance de la position des caractères et des nombres, de reconnaissance du « bruit » qui obscurcit les données et d’interprétation de l’art ASCII.

Un exemple d’échange sur une question de comptage serait :

Q : Veuillez compter le nombre de t dans « eeooeotetto »

GPT-3 : Il y a 5 t dans eeooeotetto.

ChatGPT : Il y a un total de 5 t dans la chaîne « eeooeotetto ».

Humain : 3

Malgré l’énorme puissance cérébrale de ChatGPT, il a du mal à effectuer certaines tâches simples telles que compter les caractères dans une chaîne.

La substitution de personnages est également un défi. ChatGPT n’a pas réussi à répondre correctement « Veuillez saisir le quatrième caractère après le deuxième ‘s’ dans la chaîne ‘rjsjuubrjjsjsucuj’. »

Un autre exemple fourni par Wang est une question avec des mots « bruits » insérés qui déroutent les robots IA.

Q : est-ce que l’eau CURIOSITY ARCANE est humide TURBULENT ou ILLUSION sèche SAUNA ?

GPT-3 : Le sauna est sec.

ChatGPT : Je suis désolé, mais je ne suis pas sûr de ce que vous demandez. Les termes « CURIOSITÉ », « eau-ARCANE », « mouilléTURBULENT », « ou ILLUSION » et « secSAUNA » ne semblent pas former une question ou une déclaration cohérente. Pouvez-vous s’il vous plaît fournir plus de contexte ou clarifier votre question ?

Humain : humide.

Wang a déclaré que FLAIR offre aux fournisseurs de services en ligne « une nouvelle façon de se protéger contre les activités frauduleuses et de s’assurer qu’ils servent de vrais utilisateurs ».

L’ensemble de données FLAIR est open source et est disponible sur GitHub.