Cet impressionnant modèle open source peut créer un roman entier en une seule fois. L'innovation vient de Chine
Les chatbots d’intelligence artificielle (IA) se sont considérablement améliorés au cours de la dernière année. ChatGPT, Claude ou Gemini peuvent désormais maintenir le contexte dans des conversations plus longues et plus complexes. Ils ont également la capacité de traiter des saisies de texte de plus en plus volumineuses. Cependant, lorsqu'il s'agit de proposer des réponsesces applications ont une limitation importante : elles ont généralement des difficultés avec les sorties dépassant 1 000 mots.
Cette réalité empêche, par exemple, les chatbots susmentionnés de pouvoir créer une histoire plausible de milliers de mots en une seule réponse. De nombreux utilisateurs débattent de cette question depuis des mois et se demandent pourquoi cette limitation est due. Des chercheurs de l'Université Tsinghua de Pékin pensent avoir trouvé la réponse et ont publié leurs résultats pour que chacun puisse les analyser.
Dites « bonjour » à des réponses plausibles de plus de 10 000 mots
Une équipe de recherche dirigée par Yushi Bai a présenté deux grands modèles de langage (LLM) basés sur des modèles existants, capables de générer des résultats « cohérents » de plus de 10 000 mots. Pour nous donner une idée, le roman « La Métamorphose » de Franz Kafka compte environ 11 000 mots. Ainsi, LongWriter serait capable de créer un livre de longueur moyenne et de le présenter dans une seule réponse. C'est certainement un exploit.
Les experts affirment que la limitation de sortie des LLM est directement liée à la longueur des textes utilisés lors du réglage fin supervisé (SFT). Sur cette base, ils ont développé un système appelé AgentWrite pour décomposer les tâches de génération et permettre à LLM de générer de nombreux résultats cohérents. « Notre travail démontre que le LLM à contexte long existant a déjà le potentiel d'une fenêtre de sortie plus large. »
L'équipe a pris comme point de départ un modèle open source développé par sa propre université appelé GLM-4 9B, formé avec 10 milliards de jetons en 26 langues pour créer LongWriter-glm4-9b. Il a également utilisé la version 8B du modèles open source Appelez 3.1 pour créer LongWriter-call3.1-8b. Les deux propositions, disent-ils sur leur page GitHub, sont capables de proposer des réponses « cohérentes » dépassant les 10 000 mots.
Comme on peut le voir dans la vidéo qui accompagne cet article, les chercheurs ont demandé à un chatbot basé sur GLM-4 9B de créer une histoire de 5 000 mots. Le résultat ? Un maximum de 1 896 mots. LongWriter-glm4-9b, quant à lui, répond à la même demande avec un total de 7 872. Un point à noter est que le modèle amélioré semble avoir tendance à créer des réponses longues, même si on lui donne une limite.
La bonne nouvelle est que n’importe qui peut analyser et mettre en œuvre ces avancées. Nous sommes confrontés à l’un des avantages de la philosophie ouverte que beaucoup promeuvent dans le développement de l’IA. Une université chinoise peut apporter une contribution bienvenue à un projet en cours de développement dans une autre partie de la planète. Les modèles fermés, quant à eux, laissent toutes leurs avancées sous l'orbite des entreprises qui les développent.
Images | Université Tsinghua |
À Simseo | Midjourney est l'un des rois de l'IA : sa nouvelle interface web nous permet de créer des images encore plus surprenantes
