Du vibe coding au « vibe doing » : comment avec GPT-6 Astra, OpenAI veut que les machines fassent des choses pour nous

Un mec blond apparaît assis devant un écran géant. Il bouge brusquement sa main gauche, dans laquelle il a une sorte de pointeur virtuel, et dit « Créez un cercle jaune… là ». Immédiatement après, un cercle jaune apparaît sur l’écran.

La démo « Put that There » ne semble pas très spectaculaire à première vue, mais elle a été créée il y a près de 50 ans, en 1979. Elle a été réalisée par le MIT Architecture Machine Group et pointait vers un avenir dans lequel nous dirions des choses à une machine et cette machine les ferait.

Cet avenir est enfin beaucoup plus proche, et c’est grâce à GPT-6 Astra.

C’est là, selon nous, la grande révolution de ce modèle.

Oublions un instant les benchmarks

Pas les benchmarks, qui sont très bons mais ne racontent qu’une partie de l’histoire. Cela est démontré par le fait que dans certains cas, le résultat est incroyablement bon et dans d’autres, le résultat est beaucoup moins spectaculaire. Par exemple : vous avez réussi le prestigieux test ARC-AGI-3 et obtenu 99,9 % (Opus 5 a atteint 30,2 %). Soit dit en passant, cela ne signifie pas que GPT-6 Astra est AGI.

Il est également inquiétant qu’il ait également saturé ExploitBench (l’Opus 5 atteint 70%). Cela donne une bonne idée de sa capacité dans le domaine de la cybersécurité, ce contre quoi OpenAI avait déjà mis en garde il y a quelques jours. En le présentant définitivement, ils tentent de nous rassurer en affirmant qu’il s’agit du modèle d’IA le plus aligné qu’ils aient jamais créé. Selon eux, il vous sera difficile (mais pas impossible) de faire des choses que vous ne devriez pas faire.

Ses résultats dans de nombreux benchmarks sont, insistons-nous, exceptionnels, même si curieusement en Analyse Artificielle il ne parvient à être à égalité avec Fable 5 qu’avec 61 points, un peu loin des 66 de Fable 5.1.

L’analyse de cette plateforme. Bien sûr, il ressort que son utilisation de jetons par tâche est relativement faible, mais il s’agit du modèle le plus cher de l’histoire d’OpenAI : 10 $ par million de jetons d’entrée et 50 $ par million de jetons de sortie.

Tout cela est frappant, sans aucun doute, mais passons à autre chose.

« Mets ça là »

Chris Schmandt étudiait au prestigieux MIT en 1977 lorsqu’il vit une annonce d’un de ses départements pour travailler sur un projet de « programmation graphique en PL/I », un langage mystérieux des années 1960.

Il s’est inscrit, ce qui l’a amené à exploiter l’un des premiers systèmes capables de « dessiner » des pixels sur un écran. Cela a fini par l’amener à développer la démo susmentionnée « Put that There » («  ») qui ressemble aujourd’hui à la préhistoire de la technologie mais qui était alors visionnaire et spectaculaire : vous parliez à une machine, et la machine faisait ce que vous disiez.

Depuis lors, l’humanité n’a cessé de poursuivre cette idée, même si nous ne l’avons vue réellement se réaliser que dans une seule industrie : celle du cinéma, qui à maintes reprises a réalisé ce rêve aussi bien dans les séries (« Star Trek », « La Voiture Fantastique ») que dans les films (« Elle » est le meilleur exemple récent, je dirais).

Mais il était difficile de concrétiser cet avenir. Avec GPT-4o, il y avait déjà un bond spectaculaire qui nous permettait de parler naturellement aux machines. et lors de Google I/O en mai 2025, le projet Astra nous a montré cet avenir dans lequel réparer un vélo avec l’aide de l’IA était un jeu d’enfant.

Mais l’idée que les machines fassent réellement des choses pour nous n’était pas tout à fait là. Ils ont réussi à faire certaines choses, mais pas toujours tout à fait bien et au final il fallait toujours 1) utiliser un clavier et une souris pour corriger les machines à chaque étape et 2) la voix n’était pas encore l’interface définitive.

C’est là qu’intervient GPT-6 Astra. Ou du moins là où il promet d’entrer.

GPT-6 veut faire des choses pour nous sur notre PC

Le nouveau modèle OpenAI a été présenté au monde avec une vidéo unique. Celui qui a précisément commencé avec un fragment de cette démo susmentionnée de 1979, puis a voyagé jusqu’en 2026 et est allé beaucoup plus loin avec la technologie actuelle.

Mais bien sûr, dessiner un cercle jaune n’était qu’un début. À partir de là, les protagonistes de cette vidéo promotionnelle montrent comment ils utilisent GPT-6 Astra pour transformer ce point jaune en partie de fusée puis en jeu vidéo, ou comment ils ont créé une présentation sur la conception de vêtements, ou comment ils ont acheté une table dont ils avaient enregistré la photo quelque part sur leur ordinateur, ou comment ils ont aidé un avocat à rédiger un document juridique.

La démo n’était pas particulièrement spectaculaire car en réalité beaucoup de ces choses « plus ou moins » que l’on pouvait déjà demander à l’IA. Et le truc avec le gars qui mange de la nourriture chinoise en jouant à son jeu vidéo «  » (argh, mot terrible), c’est un peu exagéré, mais l’idée que ça nous véhicule, c’est que ce modèle va enfin nous permettre tout ce que les films et séries nous montrent depuis des décennies.

Dites aux machines ce que nous voulions et laissez-les faire.

Le concept n’est pas du tout nouveau, mais de nombreux modèles d’IA progressent dans ce domaine depuis quelques temps. Il existe des benchmarks qui montrent précisément qu’ici GPT-6 Astra peut marquer un avant et un après : OSWorld 2.0 montre la capacité d’une IA à gérer un ordinateur : GPT-5.6 Sol a obtenu 65,7% et Claude Opus 5 70,2%, mais Astra donne un autre petit coup de pouce avec 72,6%. Dans le test ScreenSpot-Pro, test qui mesure la capacité de l’IA à localiser correctement les éléments d’une interface, Astra atteint 92,7 %.

Lors d’OpenAI, ils ont précisément souligné qu’il s’agissait du « meilleur modèle d’utilisation d’un ordinateur » grâce à la rapidité, la précision et la sécurité de ce type de contrôle informatique. « Vous pouvez remplir des formulaires en ligne, mettre à jour les fiches clients dans un CRM et organiser votre calendrier », indiquent-ils, entre autres exemples, dans leur annonce officielle. Mais il existe bien d’autres exemples, comme le concours Excel dans lequel GPT-6 parvient à être quatre fois plus rapide que le vainqueur du concours en 2023, ou à générer un testament avec un jargon juridique parfait sans transpirer en quelques secondes seulement.

De à «  »

Nous avions déjà vu quelque chose de similaire dans un domaine très spécifique de l’industrie technologique : la création de petites applications et d’outils est devenue étonnamment accessible grâce à ces modèles d’IA, et le célèbre permet à quiconque d’obtenir des résultats qui nécessitaient il y a quelques années à peine de savoir programmer.

Ce qui se passe, c’est qu’il ne s’agit pas de , mais de .

L’idée ne se limite plus au développement d’IA et à la programmation de code pour vous sur votre ordinateur, mais à pratiquement tout faire pour vous sur votre ordinateur. Et tout est contrôlé par la voix, même si bien sûr vous pouvez toujours utiliser la souris et le clavier.

Cette capacité à agir directement sur l’interface graphique de notre ordinateur fait de cet élément une sorte d’API universelle. Une API traditionnelle ou des protocoles tels que MCP constituent actuellement un moyen beaucoup plus efficace et fiable pour une IA d’interagir avec un service, mais le problème est que quelqu’un doit avoir créé cette intégration auparavant.

Le « mode » offre un plan B fantastique. Si un ancien programme de comptabilité n’a pas d’API mais qu’un être humain peut l’utiliser en regardant l’écran, en déplaçant la souris et en tapant avec le clavier, un agent suffisamment compétent peut faire exactement la même chose. Soudain, des millions de sites Web, d’applications et de systèmes conçus exclusivement pour les humains deviennent également utilisables directement par les machines.

Nous ne disons pas que GPT-6 Astra est parfait, loin de là, ou que nous pouvons oublier de faire fonctionner notre ordinateur avec une souris et un clavier. Cela prendra du temps si cela finit par se produire : les 72,6 % d’Astra dans OSWorld peuvent également être lus dans l’autre sens : dans plus d’un quart des tâches du benchmark, l’entreprise ne parvient pas à accomplir avec succès ce qui lui est demandé. Un taux d’échec encore terrible pour de nombreuses tâches professionnelles ou délicates.

Quoi qu’il en soit, ce que propose GPT-6 Astra est un changement que le monde de l’IA semble viser depuis un certain temps : jusqu’à présent, utiliser un ordinateur consistait à savoir comment réaliser quelque chose. Si nous voulions savoir combien nous avions dépensé en voyage au cours de la dernière année, nous devions savoir ouvrir la feuille de calcul, écrire des formules, créer un tableau et peut-être plus tard l’exporter au format PDF.

Elle vise justement à éliminer une bonne partie de ce « comment ». Nous mettons le « quoi » : « dites-moi combien j’ai dépensé en voyages cette année et préparez-moi un rapport », et la machine se charge de savoir quelles applications elle doit ouvrir, où se trouvent les données, sur quels boutons elle doit appuyer et ce dont elle a besoin pour y parvenir.

C’est en partie ironique. Depuis un demi-siècle, nous avons consacré énormément de temps et d’argent à rendre les ordinateurs plus faciles à utiliser. Nous sommes passés de la ligne de commande aux interfaces graphiques, du clavier à la souris et de là aux écrans tactiles. Nous avons inventé des fenêtres, des dossiers, des icônes, des menus et des boutons pour garantir que n’importe qui puisse faire fonctionner une machine.

Maintenant, nous formons les machines pour qu’elles puissent utiliser toutes les interfaces que nous avons créées pour nous. Et peut-être que nous le faisons précisément pour ne pas avoir à les utiliser. Quelles choses.

J’aimerais savoir ce que Chris Schmandt pense de tout cela. Je pense que vous trouveriez cela merveilleux.

À Simseo | OpenAI et Anthropic ont un problème : les nouveaux modèles bon marché de Google et Meta sont déjà trop bons