L’IA qui imite la résolution de problèmes humains constitue une avancée majeure, mais entraîne de nouveaux risques et problèmes.
OpenAI a récemment dévoilé ses derniers modèles d'intelligence artificielle (IA), o1-preview et o1-mini (également appelés « Strawberry »), revendiquant une avancée significative dans les capacités de raisonnement des grands modèles de langage (la technologie derrière Strawberry et ChatGPT d'OpenAI). . Si la sortie de Strawberry a suscité l’enthousiasme, elle a également soulevé des questions cruciales sur sa nouveauté, son efficacité et ses risques potentiels.
Au cœur de cela se trouve la capacité du modèle à utiliser le « raisonnement en chaîne de pensée », une méthode similaire à celle utilisée par un humain utilisant un bloc-notes ou un bloc-notes pour noter les étapes intermédiaires lors de la résolution d'un problème.
Le raisonnement en chaîne de pensée reflète la résolution de problèmes humains en décomposant des tâches complexes en sous-tâches plus simples et gérables. L’utilisation d’un raisonnement de type bloc-notes dans de grands modèles de langage n’est pas une idée nouvelle.
La capacité d’effectuer un raisonnement en chaîne de pensée par des systèmes d’IA non spécifiquement formés pour ce faire a été observée pour la première fois en 2022 par plusieurs groupes de recherche. Il s'agissait notamment de Jason Wei et de ses collègues de Google Research, ainsi que de Takeshi Kojima et de ses collègues de l'Université de Tokyo et de Google.
Avant ces travaux, d'autres chercheurs tels qu'Oana Camburu de l'Université d'Oxford et ses collègues ont étudié l'idée de modèles d'enseignement permettant de générer des explications textuelles pour leurs résultats. C’est ici que le modèle décrit les étapes de raisonnement qu’il a suivies pour produire une prédiction particulière.
Même avant cela, des chercheurs, dont Jacob Andreas du Massachusetts Institute of Technology, avaient exploré l’idée du langage comme outil de déconstruction de problèmes complexes. Cela a permis aux modèles de décomposer des tâches complexes en étapes séquentielles et interprétables. Cette approche s’aligne sur les principes du raisonnement en chaîne de pensée.
La contribution potentielle de Strawberry au domaine de l’IA pourrait résider dans la mise à l’échelle de ces concepts.
Un regard plus attentif
Bien que la méthode exacte utilisée par OpenAI pour Strawberry soit entourée de mystère, de nombreux experts pensent qu'elle utilise une procédure connue sous le nom d'« auto-vérification ».
Cette procédure améliore la capacité du système d’IA à effectuer un raisonnement en chaîne de pensée. L’auto-vérification s’inspire de la façon dont les humains réfléchissent et mettent en scène des scénarios dans leur esprit pour rendre leur raisonnement et leurs croyances cohérents.
Les systèmes d’IA les plus récents basés sur de grands modèles de langage, comme Strawberry, sont construits en deux étapes. Ils passent d'abord par un processus appelé « pré-formation », au cours duquel le système acquiert ses connaissances de base en parcourant un vaste ensemble de données générales d'informations.
Ils peuvent ensuite subir un réglage fin, au cours duquel ils apprennent à mieux effectuer des tâches spécifiques, généralement en recevant des données supplémentaires plus spécialisées.
Ces données supplémentaires sont souvent conservées et « annotées » par des humains. C'est là qu'une personne fournit au système d'IA un contexte supplémentaire pour l'aider à comprendre les données d'entraînement. Cependant, certains pensent que l'approche d'auto-vérification de Strawberry est moins gourmande en données. Pourtant, certains éléments indiquent que certains des modèles d’IA o1 ont été formés sur de nombreux exemples de raisonnement en chaîne de pensée annotés par des experts.
Cela soulève des questions sur la mesure dans laquelle l’auto-amélioration, plutôt que la formation guidée par des experts, contribue à ses capacités. En outre, même si le modèle peut exceller dans certains domaines, sa capacité à raisonner ne dépasse pas les compétences humaines de base dans d’autres. Par exemple, les versions de Strawberry ont encore du mal à résoudre certains problèmes de raisonnement mathématique qu'un enfant de 12 ans capable peut résoudre.
Risques et opacité
L’une des principales préoccupations concernant Strawberry est le manque de transparence entourant le processus d’auto-vérification et son fonctionnement. La réflexion que le modèle effectue sur son raisonnement n'est pas disponible pour être examinée, privant les utilisateurs d'un aperçu du fonctionnement du système.
Les « connaissances » sur lesquelles s’appuie le système d’IA pour répondre à une requête donnée ne sont pas non plus disponibles pour l’inspection. Cela signifie qu'il n'y a aucun moyen de modifier ou de spécifier l'ensemble des faits, des hypothèses et des techniques de déduction à utiliser.
Par conséquent, le système peut produire des réponses qui semblent correctes et des raisonnements qui semblent solides, alors qu’en réalité ils sont fondamentalement erronés, conduisant potentiellement à de la désinformation.
Enfin, OpenAI a intégré des protections pour empêcher les utilisations indésirables de o1. Mais un récent rapport d'OpenAI, qui évalue les performances du système, a révélé certains risques. Certains chercheurs avec qui nous avons parlé nous ont fait part de leurs inquiétudes, notamment concernant le potentiel d'utilisation abusive par les cybercriminels.
La capacité du modèle à induire intentionnellement en erreur ou à produire des résultats trompeurs – soulignée dans le rapport – ajoute une autre couche de risque, soulignant la nécessité de mesures de protection strictes.
