Claude Fable : À la recherche des inconnues du codage agent

Il existe une vieille formule du linguiste Alfred Korzybski, « la carte n’est pas le territoire », qui est utile pour comprendre ce qui se passe lorsqu’on confie le travail de développement à un agent comme Claude Fable, un modèle de la famille Mythos, le niveau le plus compétent d’Anthropic. La carte est ce que nous lui donnons : l’invite, les instructions, le contexte, les compétences. Le territoire est le lieu où se déroule réellement le travail, le vrai code avec ses contraintes, ses pièges, ses dépendances inattendues. L’écart entre les deux choses a un nom précis dans le guide de terrain qu’Anthropic a publié sur le blog de Claude : ce sont les inconnues, et c’est là que joue la qualité du résultat.

L’auteur, Thariq Shihipar, qui fait partie de l’équipe technique de l’entreprise, le dit sans détour : Fable est le premier modèle dans lequel, écrit-il, la qualité du travail est limitée par sa capacité à clarifier les inconnues. Une déclaration qui déplace le centre de gravité. Pendant des années, le goulot d’étranglement de l’IA générative était la machine, ce qu’elle savait, ce qu’elle comprenait, la quantité de contexte qu’elle pouvait gérer. Avec un modèle suffisamment performant, la contrainte change de nature et se retrouve sur la personne qui écrit l’invite.

Le changement de perspective est particulièrement important lorsque les agents entrent dans des processus réels. La question cesse d’être « l’outil est-il capable » et devient « savons-nous ce que nous voulons, et savons-nous nommer ce que nous n’avons pas encore compris », une question de maturité organisationnelle avant même celle de la technologie.

Quatre types d’inconnues dans une invite

Shihipar récupère l’ancienne grille de Donald Rumsfeld, celle du «connus connus» et de «inconnues inconnues», et l’emmène travailler avec l’agent. Dans le premier quadrant se trouvent les choses que nous savons et que nous mettons dans l’invite, ce que nous disons explicitement à l’agent que nous voulons. À côté d’elles se trouvent les « inconnues connues », les questions que nous savons devoir nous poser, des questions encore ouvertes mais dont nous avons conscience.

Vient ensuite la partie glissante. Les « inconnus connus » sont les choses qui sont trop évidentes pour être écrites, celles que nous reconnaîtrions instantanément quand nous les voyons mais que nous ne penserions jamais à préciser. Et le quadrant noir, les « inconnus inconnus », est celui auquel nous n’avons même pas pensé : le trou dont nous ignorions que la route pouvait avoir.

Nous gérons déjà les deux premiers quadrants en écrivant mieux. Ce sont les deux autres, le non-dit et l’impensé, qui séparent un résultat médiocre d’un bon, et ce sont aussi les plus difficiles à contrôler seul. Shihipar note que ceux qui sont les meilleurs en codage agent ont peu d’inconnues, car ils connaissent intimement à la fois le code et les comportements du modèle ; Pourtant, eux aussi tiennent pour acquis qu’ils les possèdent, et réduire et prendre en compte leurs propres inconnues reste la véritable compétence à former, une compétence qui s’affine en travaillant avec Claude.

Trop précis ou trop vague

Coacher un agent est un équilibre délicat, rappelle l’auteur. Avec une invite trop détaillée, Claude suit à la lettre même lorsque changer de direction serait le meilleur choix. Toutefois, s’il est trop vague, il comble les lacunes avec des choix de manuels, qui ont du sens dans l’abstrait mais ne sont pas toujours adaptés au cas concret. Lorsque vous ne tenez pas compte de vos inconnues, prévient Shihipar, vous vous trompez dans les deux sens. La solution ne vient pas d’écrire davantage, elle vient de donner à l’agent le contexte du point de départ : d’où l’on vient, ce que l’on a déjà ressenti, quelles contraintes ne sont pas négociables.

C’est pourquoi il vaut mieux inverser la relation et utiliser le modèle pour faire ressortir les non-dits, pas seulement pour produire. Claude recherche le code et le Web beaucoup plus rapidement que nous, il en sait plus sur le sujet moyen, il apprend de ses erreurs dans des moments qu’une personne ne peut pas gérer. Un iceberg dresse le tableau : avant de commencer, une grande partie de ce que vous devez savoir se trouve sous la ligne de flottaison, immergée et pleine de points d’interrogation. Le travail de découverte le fait remonter à la surface, pièce par pièce.

Shihipar traduit tout cela en pratiques concrètes, chacune conçue pour réduire l’écart entre la carte et le territoire, réparties tout au long des trois phases des travaux : avant, pendant et après la mise en œuvre. Ils valent la peine d’être examinés de près, car ils sont transférables bien au-delà du code.

Avant le code : le passage angle mort et les autres sondes

Le premier groupe de pratiques sert à trouver ce que nous ne voyons pas. Le « passage d’angle mort» est le geste le plus direct : on demande à Claude de relire le plan ou le code et de dire ce qui manque, où se situent les risques, quels trous éviter, en expliquant à l’agent qui nous sommes et ce que nous savons déjà, afin d’éclairer la situation. inconnues inconnues avec un regard extérieur. L’exemple qu’il donne est concret : quiconque a besoin d’ajouter un fournisseur d’authentification à une partie de code qu’il ne connaît pas demande à Claude un laissez-passer d’angle mort justement pour faire ressortir des inconnues cachées et apprendre à mieux formuler des questions.

Les brainstormings et les prototypes travaillent plutôt sur des inconnus connus, ces critères qu’on ne sait définir qu’en les voyant : demander à Claude de générer quatre directions de design très différentes pour un tableau de bord, ou une maquette de la barre d’outils avec de fausses données, coûte peu et permet de réagir avant d’écrire une ligne backend.

Ensuite, il y a l’inversion des rôles, l’entretien : on laisse l’agent nous poser des questions, une à une, en donnant la priorité à celles dont la réponse changerait l’architecture. Les références comptent autant que les instructions, et la meilleure référence reste le code source : montrer à l’agent comment est réellement réalisée une bibliothèque, même dans un autre langage, vaut plus qu’une capture d’écran ou mille lignes de spécifications. La phase se termine par le plan d’implémentation, rédigé avant de toucher au code et construit autour des parties les plus à risque de changer, les modèles de données, les interfaces, les flux utilisateurs, ceux sur lesquels il vaut mieux se prononcer immédiatement.

Le quiz à réussir avant la fusion

Pendant que l’agent fonctionne, un fichier presse-papiers conserve le chemin d’accès. Dans un «implementation-notes.md», Claude note les écarts par rapport au plan et les décisions prises en cours de route, car peu importe combien vous planifiez, il y a toujours des inconnues inconnues qui se cachent, et un cas extrême trouvé dans le code peut imposer une autre voie. Les choix ne s’évaporent ainsi pas, ils restent lisibles à la prochaine tentative.

Une fois le travail terminé, la maquette sert deux choses qui sont généralement négligées. La première est de demander à l’agent de rédiger le pitch ou l’explication de ce qu’il a fait, pour accélérer la compréhension et l’approbation de ceux qui doivent donner leur accord, surtout lorsque ces évaluateurs partent des mêmes inconnues que nous ; un seul document avec prototype, spécifications et notes, prêt à être déposé dans un canal Slack, raccourcit considérablement le chemin vers le feu vert.

Le deuxième est le contrôle, et ici Shihipar propose une idée qui vaut la peine d’être volée : le quiz. Nous demandons à Claude de nous interroger sur le code qu’il a réalisé, et nous ne procédons à la fusion qu’après avoir répondu correctement à tout. Cela renverse les habitudes, car ce n’est pas l’humain qui valide la machine, c’est la machine qui vérifie que ceux qui l’utilisent ont bien compris ce qu’ils s’apprêtent à mettre en production.

Vidéo de lancement de The Fable, éditée en Claude Code

Qu’il ne s’agisse pas d’une théorie, le montre la manière dont est née la vidéo de lancement de Fable, montée du début à la fin avec Claude Code, dans un domaine, le montage vidéo, qui était un terrain nouveau pour Shihipar. Il est parti de ce qu’il savait : Claude pouvait couper et transcrire une vidéo via du code, mais la question de l’exactitude restait en suspens.

Il a demandé à l’agent d’expliquer comment fonctionne une transcription de type Whisper et si les hésitations et les longues pauses pouvaient réellement être supprimées avec ffmpeg. Il souhaitait une interface synchronisée avec la parole, et ne sachant pas si c’était possible, il fit construire à Claude un prototype avec Remotion. Au final, la vidéo est apparue un peu ennuyeuse, une question de étalonnage des couleursdont il ne savait cependant pas ce que c’était : au lieu de faire choisir aveuglément entre les variantes, il a demandé à Claude de lui l’expliquer, de découvrir ses propres inconnues. Chaque enquête menée tout au long du processus, de l’explication au prototype en passant par l’interview, était un moyen peu coûteux de découvrir d’abord ce qui coûterait cher plus tard.

Avec la machine désormais si avancée, la valeur n’est pas extraite par ceux qui disposent de l’outil le plus puissant, elle est extraite par ceux qui savent se remettre en question, ceux qui savent dire ce qu’ils veulent et ont l’honnêteté d’admettre ce qu’ils ne savent pas encore. Le doute, habituellement traité comme une faiblesse à dissimuler, devient ici une ressource opérationnelle, et chaque angle mort mis en lumière auparavant est un coût évité plus tard. C’est un renversement qui affecte la manière d’organiser le travail, car il déplace l’attention des outils à acheter vers les habitudes à construire, et met au centre des personnes capables de poser les bonnes questions plutôt que d’avoir déjà toutes les réponses.

Ainsi, la question qui reste, après un guide de terrain comme celui-ci, n’est plus de savoir dans quelle mesure les modèles sont devenus bons, mais dans quelle mesure nous sommes prêts à devenir capables de nommer nos inconnues, maintenant que la carte peut enfin se rapprocher du territoire.