qui sont supervisés par d'autres chatbots

Les réponses peu fiables sont l’un des gros problèmes des chatbots à intelligence artificielle. Ces outils évoluent à pas de géant, mais ils sont encore ils reproduisent des préjugés et génèrent des hallucinations. Des chercheurs de l’Université d’Oxford ont eu une idée particulière pour remédier à ces limitations : les chatbots sont supervisés par d’autres chatbots.

Le groupe, composé de Sebastián Farquhar, Jannik Kossen, Lorenz Kuhn et Yarin Gal, souligne que de faux résultats ont empêché l'adoption des chatbots dans divers domaines. Désormais, la méthode qu'ils ont conçue, dit-il, tient compte du fait qu'une idée peut être exprimée de différentes manières et a permis aux utilisateurs de détecter à quel moment dans la conversation ils doivent être particulièrement prudents.

Utiliser des chatbots pour surveiller d'autres chatbots

Les chercheurs ont posé à un chatbot une série de questions triviales et de problèmes mathématiques. Ensuite, ils ont demandé à un groupe d'humains et à un autre chatbot de je passerai en revue les réponses. Après avoir acheté les évaluations, ils ont découvert que le chatbot était d'accord à 93 % avec les évaluateurs humains. Les évaluateurs humains, quant à eux, étaient d’accord à 92 % avec le chatbot.

Ces résultats font partie d’une étude publiée dans la revue Nature intitulée « Détection des hallucinations dans de grands modèles de langage utilisant l’entropie sémantique ». Comme nous pouvons le voir, une méthodologie assez manuelle a été utilisée qui peut être prise comme modèle pour inspirer d'éventuelles solutions automatisées qui répondent au manque de fiabilité des chatbots IA que nous utilisons quotidiennement.

Les outils eux-mêmes incluent souvent des messages d'avertissement sur l'exactitude des réponses au bas de la fenêtre de discussion. « ChatGPT peut faire des erreurs. Pensez à vérifier les informations importantes », explique le chatbot OpenAI. « Les Gémeaux peuvent afficher des informations inexactes, même sur des personnes, alors vérifiez leurs réponses », indique la proposition créée par Google.

Tango OpenAI, comme Google, ainsi que d'autres sociétés, ont déclaré qu'elles s'efforçaient d'améliorer la fiabilité et la sécurité de leurs produits d'IA. Mais pour l’instant, les résultats sont loin d’être parfaits. Dans de nombreux cas, les réponses présentent généralement un texte qui, à première vue, semble très cohérent, mais qui peut contenir de petites imperfections jusqu'à des erreurs majeures.

Images | Simseo avec Bing Image Creator

À Simseo | Une IA a créé le scénario d’un film qui parle justement de créativité au cinéma. Un cinéma refuse de le sortir