Les entreprises chinoises ouvrent la voie dans les « petits » modèles d’IA. Maintenant, ce qu’ils veulent, c’est tout le contraire : des modèles colossaux

La course à l’intelligence artificielle ne se déroule pas uniquement dans d’immenses centres de données. Il en existe aussi un autre, beaucoup plus proche de l’utilisateur, pour réaliser des modèles suffisamment petits pour fonctionner avec moins de mémoire, moins de capacité de calcul et sur des appareils beaucoup plus modestes. La Chine est devenue un des acteurs incontournables dans ce domaine avec des familles comme Qwen ou MiniCPM. Mais alors que cette concurrence continue de diminuer, certaines de ses plus grandes entreprises technologiques commencent également à parier sur une croissance dans la direction opposée.

De centaines de milliards. Les chiffres permettent de bien voir jusqu’où est allée cette escalade. DeepSeek-V3 est apparu avec 671 milliards de paramètres au total, tandis que Moonshot AI a porté Kimi K2 à un milliard. Le bond s’est accéléré en 2026 : Kimi K3 atteint 2,8 milliards et Alibaba a placé Qwen3.8-Max à 2,4 milliards. Il s’agit de quantités totales, et ce dernier mot compte beaucoup : cela ne veut pas dire que tous ces paramètres entrent en jeu à chaque étape de transformation. C’est précisément ce que nous devons comprendre ensuite.

Des géants qui ne pensent pas ensemble. L’architecture n’est pas nouvelle. En 2023, une analyse de SemiAnalysis a suggéré que GPT-4 pourrait utiliser une conception mixte d’experts, ou MoE, bien qu’OpenAI n’ait jamais confirmé publiquement ce détail. La logique est simple : au lieu de faire fonctionner tous les paramètres à chaque étape, le système n’en active qu’une partie. Qwen3.8-Max l’illustre bien : il rassemble 2 400 milliards de paramètres, mais en utilise environ 95 milliards par étape.

Plus grand ne veut pas dire meilleur. Le nombre de paramètres nous indique la taille, mais ne fonctionne pas comme une classification automatique de l’intelligence ou de la précision. DeepMind l’a démontré en 2022 avec Chinchilla : il disposait de 70 milliards de paramètres et surpassait Gopher, avec 280 milliards, dans presque toutes les tâches évaluées en utilisant le même budget informatique pour la formation. Le chinchilla avait également été entraîné avec environ quatre fois plus de données. L’architecture, la quantité et la qualité de ces données ainsi que les ressources informatiques déterminent également de manière décisive le résultat.

Le saut vers 10 milliards. La prochaine frontière est déjà sur la table. Alibaba a confirmé le 22 septembre que Qwen 4 était en formation et a annoncé que sa feuille de route pour Qwen 4.5 et Qwen 5 comprenait des modèles comportant entre 5 et 10 milliards de paramètres. ByteDance poursuivrait une démarche similaire, selon le Financial Times, bien que la société ne l’ait pas confirmé publiquement. On ne peut pas non plus faire de comparaison directe entre les modèles chinois et américains les plus récents : OpenAI et Anthropic ne détaillent pas le nombre de paramètres dans les spécifications publiques de GPT-5.6 Sol et Claude Fable 5.1.

Tous n’ont pas le même objectif. Nous l’avons vu au début : les petits modèles excellent lorsque nous devons contenir de la mémoire, des calculs et des coûts, ou amener l’IA directement sur les appareils personnels. Les projets à grande échelle visent autre chose, une plus grande capacité à s’acquitter de tâches plus exigeantes et plus variées, même si cela nécessite beaucoup plus d’infrastructures. Le pari chinois n’est pas de remplacer l’un par l’autre, mais de couvrir les deux extrêmes : des modèles compacts où prévaut l’efficacité et des systèmes colossaux où il vaut la peine de payer le prix de la mise à l’échelle.

Images | Kimi AI

À Simseo | La Chine vit son « moment DeepSeek » dans le domaine des technologies de la santé : c’est ainsi qu’elle veut devenir une puissance mondiale de la santé