Le fondateur d'OpenAI affirme que l'IA n'imite pas le cerveau
Andrej Karpathy, co-fondateur d'OpenAI et ancien responsable de l'IA chez Tesla, a offert un point de vue radicalement différent sur l'état actuel de l'IA dans une longue interview avec Dwarkesh Patel. Face à un optimisme débordant, il soutient que les systèmes actuels sont des « fantômes numériques » qui imitent les modèles humains, et non des cerveaux qui évoluent comme des animaux.
Sa prédiction : l’AGI fonctionnelle arrivera en 2035, pas en 2026.
Pourquoi c'est important. Les comparaisons entre l’IA et les cerveaux biologiques dominent le discours technique et guident de nombreuses décisions d’investissement. Karpathy soutient que cette analogie est « trompeuse » et suscite des attentes irréalistes.
Son expérience de cinq ans à la tête de la conduite autonome chez Tesla lui a donné une perspective unique sur l'écart entre les démonstrations géniales et les produits véritablement fonctionnels.
La différence. Les animaux évoluent sur des millions d’années, développant des instincts codés dans leur ADN. Un zèbre court quelques minutes après sa naissance grâce à ce « matériel préinstallé ».
Les modèles linguistiques apprennent en imitant du texte sur Internet sans ancrer ces connaissances dans un corps ou une expérience physique. « Nous ne construisons pas d'animaux », dit-il. « Nous construisons des entités éthérées qui simulent le comportement humain sans vraiment le comprendre. » Spectres.
Le problème de l’apprentissage par renforcement. Karpathy dit que l'apprentissage par renforcement (RL) actuel est « terrible » car il récompense des trajectoires entières plutôt que des étapes individuelles.
- Si un modèle résout un problème après cent tentatives infructueuses, le système renforce l’ensemble du chemin, y compris les erreurs.
- Nous, les humains, réfléchissons à chaque étape et nous ajustons.
L'effondrement. Les modèles souffrent d’un « effondrement de l’entropie » :
- Lorsqu’ils génèrent des données synthétiques pour s’auto-entraîner, ils produisent des réponses qui occupent un très petit espace de possibilités.
- Demandez une blague à ChatGPT et vous obtiendrez trois variantes répétées.
- Une mauvaise mémoire humaine est un avantage : elle nous oblige à faire abstraction.
- Les LLM se souviennent parfaitement, ce qui leur permet de réciter Wikipédia mais les empêche de raisonner au-delà des données mémorisées.
Entre les lignes. Karpathy a constaté que les agents Claude Code et OpenAI se sont révélés inutiles pour le code complexe lors du développement de nanochat. Ils travaillent avec du code répétitif qui abonde sur Internet, mais échouent face aux nouvelles architectures. « Les entreprises génèrent », a-t-il déclaré. « Peut-être pour lever des fonds. »
Le noyau. Leur proposition : construire des modèles avec un milliard de paramètres (nains par rapport à ceux les plus utilisés aujourd'hui) entraînés avec des données impeccables qui contiennent des algorithmes de réflexion, mais pas de connaissances factuelles. Le modèle rechercherait des informations lorsqu’il en aurait besoin, tout comme nous le faisons.
« Internet regorge de déchets », explique-t-il. Les modèles géants compensent cette saleté par leur taille brute. Avec des données propres, un petit modèle pourrait sembler « très intelligent ».
Le rebondissement inattendu. Karpathy n’attend aucune explosion d’intelligence, seulement une continuité. Ordinateurs, téléphones portables, Internet : aucun n’a modifié la courbe du PIB. Tout est dilué dans la même croissance annuelle d’environ 2 %.
« Nous assistons à une explosion », a-t-il déclaré, « mais nous la voyons au ralenti ». Sa prédiction : l’IA suivra ce modèle, se propageant lentement dans l’économie, sans provoquer le saut brutal à 20 % de croissance que certains anticipaient.
À Simseo | La confidentialité est en train de mourir depuis l'arrivée de ChatGPT. Désormais notre obsession est que l’IA nous connaisse le mieux possible
Image en vedette | Dwarkesh Patel
