votre chatbot Claude est capable de lire un roman en moins d’une minute

C’est la grande couverture du monde de l’IA. Anthropic est une startup qui a été fondée par d’anciens ingénieurs d’OpenAI qui en sont repartis mécontents. Ses avancées ont suscité l’intérêt de Google, qui y a investi 400 millions de dollars, et se sont cristallisées avec Claude, un chatbot qui fait maintenant mordre la poussière à ChatGPT et GPT-4. Comme? lire beaucoup.

Plus il y a de jetons, mieux c’est. Les modèles d’IA conversationnels actuels sont meilleurs, plus ils sont capables d’absorber d’informations dans chaque requête. C’est ce qu’on appelle le contexte (ou fenêtre de contexte), et il est mesuré en jetons, unités de base dans lesquelles les informations « capturées » par le modèle sont divisées. Un jeton peut être équivalent à un mot, mais souvent il équivaut également à un petit groupe de mots. Google Bard a une limite de jetons de 2K – qui semble également être la limite pour Bing Chat – GPT-3 et ChatGPT prennent en charge 4K, et GPT-4 fonctionne immédiatement avec une limite de 8K, mais il existe une version de ce dernier cela va à 32K jetons.

Claude 1, GPT-4 0. Cependant, dans Anthropic, ils ont fait un saut brutal dans cette section. La « fenêtre contextuelle » de Claude était de 9 000 jetons, mais ils ont désormais permis de prendre en charge des fenêtres de 100 000 jetons, ce qui, selon la société, permet de saisir environ 75 000 mots en une seule invite. Qu’est-ce que cela signifie?

« Claude, lis ce roman d’une traite ». La façon la plus simple de le comprendre est de souligner que Claude est capable de lire un roman en quelques secondes, et à partir de là, de répondre à n’importe quelle question sur ce roman. Avec ChatGPT, il faudrait introduire le roman par petits fragments, et il n’est pas du tout anodin de faire ensuite considérer tous ces fragments comme un seul texte afin de poser des questions plus tard. C’est ce que GPT-4 facilite avec cette limite supérieure de 32K, mais Anthropic va beaucoup plus loin avec Claude.

Les entreprises se frottent les mains. Ceci est particulièrement intéressant pour les entreprises, qui pourront utiliser Claude pour introduire des documents (ennuyeux ?) de dizaines (voire de centaines) de pages avec une multitude de données sur lesquelles on pourra ensuite faire toutes sortes de requêtes. Claude pourra les résumer, en tirer des tableaux et des conclusions ou en tirer des idées. Ce sera comme avoir un analyste robotique ou un consultant prêt à dévorer des données et à extraire des idées, des informations et des conclusions.

Il consomme également de l’audio. Non seulement cela : cette fenêtre contextuelle est également valable pour l’audio. Ces jetons 100K signifient que Claude peut « consommer » un podcast d’environ 6 heures. Elle a été réalisée par AssemblyAI, qui a retranscrit un très long épisode qui totalisait 58K mots et que Claude a ensuite parfaitement résumé.

Et, bien sûr, le code. Il en va de même pour cet avantage dans le cas des développeurs. Les programmeurs peuvent, par exemple, donner un projet logiciel entier en entrée, ou demander à Claude de lire 240 pages de documentation pour une API, puis commencer à poser des questions à ce sujet.