L’IA est très à l’aise pour inventer tout ce qu’elle ne sait pas. Certains chercheurs pensent savoir comment l'arrêter
Les hallucinations sont le talon d’Achille de l’IA depuis que les chatbots ont commencé à faire partie de nos vies. Des entreprises comme OpenAI ont promis que les hallucinations pourraient être atténuées grâce à des processus de formation appropriés, mais des années plus tard, ChatGPT et ses concurrents directs continuent d'inventer des réponses lorsqu'ils ne savent pas quoi dire. Shuhui Qu, chercheuse à l'Université de Stanford, pense avoir trouvé un moyen de résoudre le problème.
Un problème structurel. Les modèles de langage actuels ont un défaut d'usine : ils répondent en toute confiance même lorsqu'ils n'ont aucune idée ou les informations nécessaires.
Cela a à voir avec la façon dont ils progressent dans le traitement d'une réponse, puisque les LLM n'ont aucun problème à compléter les informations manquantes, même s'ils ne sont pas fidèles à la réalité et travaillent avec des hypothèses.
La première chose, reconnaissez-le. Shuhui Qu, chercheuse à l'Université de Stanford, publie un article dans lequel elle présente ce qu'elle appelle la planification catégorielle bidirectionnelle avec auto-consultation.
Une approche qui part d'une idée simple, mais inconfortable pour les grandes entreprises technologiques : forcer le modèle à reconnaître explicitement ce qu'il ne sait pas et à ne pas avancer jusqu'à le résoudre.
Une méthode plus scientifique. L’idée n’est pas que le modèle pense mieux, mais qu’il arrête de prétendre qu’il sait tout. L'approche de Qu repose sur un postulat de base : chaque fois que le modèle franchit une étape dans son raisonnement, il doit se demander s'il dispose réellement des informations nécessaires pour le faire.
Lorsqu'une condition inconnue apparaît, le modèle ne peut pas continuer. Vous n’êtes pas autorisé à combler le vide avec une hypothèse et vous devez vous arrêter pour résoudre l’incertitude avant d’avancer. Vous pouvez le faire de deux manières :
- Eh bien, poser une question précise pour obtenir les informations manquantes
- Soit en introduisant une étape intermédiaire (vérification, consultation complémentaire) qui s'intègre dans la chaîne de raisonnement.
La méthode. Les chercheurs, à l’aide d’un code externe, ont réussi à faire en sorte que des modèles comme GPT-4 répondent uniquement lorsqu’ils disposaient d’informations complètes. Ils l'ont fait avec des tâches simples, en posant des questions sur les recettes de cuisine et les guides Wikihow. La clé ? Ils ont délibérément caché des informations pour le forcer à s'arrêter.
La conclusion de la recherche était que le fait de rendre explicites les conditions préalables et de les vérifier avant d'aller de l'avant réduit considérablement les erreurs LLM lorsque des informations sont manquantes. Bien sûr, en cours de route, on admet que même cela ne suffit pas à faire disparaître complètement les hallucinations.
Pas si vite. Même si l'idée du chercheur semble brillante, il est peu probable qu'elle se concrétise à court et moyen terme. Cette façon de traiter brise le flux naturel des LLM actuels, conçus pour renvoyer des réponses complètes.
Pour faire fonctionner un tel système, il est nécessaire d'ajouter une couche supplémentaire à la structure, des conditions préalables qui l'obligent à contrôler les appels, à interpréter eux-mêmes les réponses, à les classer et à s'auto-empêcher de poser des questions s'ils ne disposent pas de toutes les informations. Autrement dit, pour le moment, l’IA continuera à réaliser les triples auxquels nous sommes déjà habitués.
Images | Simseo
À Simseo | ChatGPT invente des données et c'est illégal en Europe. Une organisation a donc décidé de régler le problème en intentant une action en justice.
