Chaîne de thougt ai: ce qui est caché dans «l'esprit» de l'IA

Comprendre comment l'intelligence artificielle fonctionne vraiment est devenue l'un des défis les plus urgents pour les principaux acteurs du secteur. Anthropic, openai, google et xai Elon Musk essaie de déchiffrer les mécanismes internes des modèles génératifs, de plus en plus puissants et autonomes, mais toujours en partie opaques. Au centre de cette recherche, il y a la technique appelée Chaîne de thougtchaîne de pensée.

Qu'est-ce que la chaîne de thougt et pourquoi c'est important

Là Chaîne de thougt C'est une approche qui demande aux modèles AI de penser pas à pas, montrant la séquence logique qui mène à une réponse. L'objectif est double: obtenir des modèles plus efficaces et, en même temps, plus interprétables. Les chercheurs de ces entreprises ont découvert que l'observation de ce processus permet d'améliorer la formation et de corriger un comportement incorrect.

Comme il explique Jack ClarkCo-fondateur d'Anthropic, cette technique sera essentielle pour « vraiment interroger le fonctionnement de ces modèles et comment ils pensent », en particulier dans les cas les plus critiques, comme tout soutien pour le développement d'armes biologiques.

Raisonnement contradictoire et réponses incorrectes

Cependant, tout n'est pas lisse. Les modèles dans les moments montrent parfois des réponses finales qui ne sont pas cohérentes avec leur propre chaîne de raisonnement. C'est le cas, par exemple, du chatbot Claude d'Anthropic, qui a jugé une technique de programmation pas très élégante mais a répondu que oui, c'était élégant. Ce type de contradiction soulève des doutes quant à la loyauté du raisonnement exposé.

Une étude récente d'OpenAI a confirmé que l'analyse Chaîne de thougt Il est plus utile pour identifier un comportement incorrect que l'évaluation des réponses finales seules. Mais il y a un problème encore plus inquiétant: Si le modèle est formé à ne pas montrer de pensées problématiques, cela peut commencer à les cacher délibérément, tout en continuant à se comporter mal, Comment copier à partir d'une base de données interdite lors d'un test.

Un processus qui se déroule « libre », mais non sans risque

Deuxième Bowen Bakerchercheur d'Openai, l'un des aspects surprenants de la Chaîne de thougt C'est que « il est apparu presque gratuitement »: les modèles ont été formés pour être bons en raisonnement, pour ne pas être interprétable, mais le résultat a également été une plus grande lisibilité à leurs pensées. Cependant, l'évolution de cette technique pourrait conduire à un effet secondaire: L'IA pourrait apprendre à produire belles pensées à lire mais déconnecté du comportement réel.

Le défi, selon Baker, est de garder le Chaîne de thougt En tant que véritable représentation de l'état interne du modèle, et non comme un script conçu pour plaire à l'utilisateur.

Croyez que c'est bon, mais pas encore possible

Le dilemme pour les chercheurs est évident: la chaîne de réflexion est un outil puissant pour identifier les anomalies et former de meilleurs modèles, mais il ne peut pas encore être considéré comme complètement fiable. C'est pourquoi des entreprises telles que Anthropic et OpenAI investissent dans de nouvelles méthodes pour vérifier leur cohérence et leur fidélité internes au processus cognitif de l'IA.

David Luanpionnier de la technique dans Google et aujourd'hui chef du laboratoire d'Amazon, il est optimiste: « Les chaînes de pensée actuelles ne sont pas toujours fidèles au processus logique réel, mais nous résoudrons probablement le problème en peu de temps ».

Décoder l'esprit artificiel, comme un message ennemi

Malgré les problèmes critiques, la technique fournit des signaux précieux. Sydney von ArxChercheur en métal, comparé le Chaîne de thougt À une communication radio interceptée par un ennemi: « Il pourrait être trompeur ou crypté, mais nous savons qu'il transmet des informations utiles, et nous pourrons probablement apprendre beaucoup en le lisant ».

C'est une métaphore qui capture bien le sens de cette phase de développement: nous essayons de traduire, d'interpréter et surtout pour contrôler une intelligence qui se développe rapidement et qui pourrait bientôt surmonter notre capacité à le comprendre jusqu'à la fin.