Le retour de Fable 5 a un problème inquiétant : Anthropic l’a condamné à « Je préférerais ne pas le faire »

Le narrateur anonyme de notre histoire engage un employé nommé Bartleby pour son cabinet d’avocats. L’employé commence à travailler d’une manière enviable, mais après trois jours, quelque chose se passe. Le narrateur lui demande de contraster un document et Bartleby répond par une phrase immortelle : « J’ai préféré ne pas le faire ».

Cette célèbre citation fait partie de l’histoire « Bartleby, the Clerk » que l’écrivain américain Herman Melville (auteur de « Moby Dick ») a publiée à la fin de 1853. L’histoire n’avait guère de succès à l’époque, mais au fil des années, elle a gagné de plus en plus d’impact. Cette phrase est devenue une sorte d’hymne à l’apathie, à l’inaction et à la paresse, et ces jours-ci nous avons été surpris de trouver un nouveau Bartleby.

L’un d’eux s’appelle Fable 5.

Le modèle d’IA d’Anthropic a été lancé le 9 juin comme le plus puissant, le plus cher et le plus exclusif de l’histoire, et bien que ses performances dans les benchmarks aient été spectaculaires, nous avons à peine eu le temps de le tester : le gouvernement américain a décidé qu’il était trop beau pour être accessible au public aux citoyens non américains. Anthropic a alors décidé de couper l’accès mondial et pendant trois semaines, Fable 5 est resté dans les limbes.

Cette semaine, Fable 5 est de nouveau disponible, mais dès le début, Anthropic a prévenu qu’il le faisait avec quelques astérisques. Le modèle d’IA, ont-ils expliqué, apporte de nouveaux filtres de sécurité pour éviter toute utilisation abusive.

Lors du lancement initial, la société avait déjà indiqué que si le modèle détectait des problèmes dans la conversation, ce ne serait pas Fable 5 qui répondrait. Au lieu de cela, ils ont déclaré : « Les requêtes sur certains sujets recevront plutôt une réponse de notre deuxième modèle le plus avancé, Claude Opus 4.8. » Avec le « redéploiement », ces filtres seraient encore plus sévères. Ce que nous ne savions pas, c’était combien.

Fable 5 préfère ne rien faire

Multiples commentaires sur les réseaux comme

Le modèle semble se comporter moins bien, mais le vrai problème est qu’il s’agit d’un modèle qui recourt constamment au « je préfère ne pas » de Bartleby. Au lieu de faire ce que l’utilisateur demande, il passe automatiquement à Claude Opus 4.8, un modèle certes capable, mais qui n’est pas ce que les utilisateurs souhaiteraient car ils entendent profiter de la puissance théorique de Fable 5.

Le pire, c’est que Fable 5 recourt à cette philosophie du « je préfère ne pas » avec pratiquement tout. Dylan Patel, créateur du célèbre cabinet de conseil SemiAnalysis, a fait le test avec le traditionnel « combien de R y a-t-il dans « framboise » » et Fable 5 l’a prévenu que le modèle ne pouvait pas répondre à cette question.

Les performances du modèle semblent également avoir été grandement affectées par ce redéploiement, et des tests indépendants ont montré à quel point dans le benchmark BridgeBench le score du Fable 5 original et du Fable 5 actuel était très différent.

Ce test particulier était trop spécifique comme l’ont commenté certains analystes, et le problème n’est pas tant que les performances diminuent (il ne fait pas grand-chose, voire s’améliore) mais que Fable 5 refuse tout simplement de répondre, ce qui rend également très difficile l’évaluation de ses performances actuelles.

A ce facteur s’ajoute le fait que Fable 5 sera un modèle particulièrement exclusif : il pourra être utilisé avec les abonnements gratuits et payants d’Anthropic jusqu’au 7 juillet prochain, mais ensuite ce modèle disparaîtra desdits plans et il ne sera possible de l’utiliser qu’avec des crédits. C’est-à-dire payer à l’utilisation, ce qui, pour des usages intensifs, peut coûter très, très cher.

Nous sommes donc confrontés à un moment particulièrement délicat : si des entreprises comme Anthropic commencent à limiter artificiellement les capacités de leurs modèles les plus puissants ou à les « acheminer » vers des modèles inférieurs à la première occasion… à quoi bon développer ces modèles ? Commercialement, l’idée n’a pas non plus de sens : si les utilisateurs professionnels constatent que le modèle passe à « Je préfère ne pas faire ça » et continuent à répondre avec une version plus ancienne et moins bonne, ils ne seront pas particulièrement heureux de payer pour le modèle « cher ».

Anthropic est dans une situation compromise, et ce qui se passe avec Fable 5 pourrait finir par marquer un tournant dans la manière dont les utilisateurs finaux et les professionnels travaillent avec les modèles d’IA.

À Simseo | L’avenir de la géopolitique se joue dans les modèles d’IA : le veto de Claude Fable 5 indique que l’Europe est hors-jeu