a esquivé la norme Cuda de Nvidia

La publication du modèle V3 de l’intelligence artificielle (AI) Deepseek en tant qu’open source est une bénédiction. Et c’est parce que petit à petit, nous connaissons en détail la stratégie des ingénieurs de cette entreprise chinoise à Prenez un modèle de si efficace. Avant d’aller de l’avant avec cet article, il est important que nous gardions à l’esprit que DePseek dit qu’il a formé son modèle en utilisant seulement 2 048 puces NVIDIA H800.

Certains analystes défendent que, en réalité, leur infrastructure Agglutina 50 000 GPU H100 achetée via des intermédiaires, mais pour le moment, ce n’est qu’une conjecture. Cette puce est plus puissante que le H800, mais il est parfaitement crédible que DePseek ait été contraint de se contenter de ce dernier parce que les sanctions du gouvernement américain ont empêché les entreprises chinoises d’accéder au GPU H100. En fait, depuis novembre 2023, Nvidia ne peut pas livrer votre puce H800 à vos clients chinois.

L’une des clés de Depseek s’appelle PTX

Dans la recette de la croissance passionnante que Nvidia a connue au cours des cinq dernières années, son GPU n’intervient pas; La technologie CUDA () a également un rôle essentiel dans votre entreprise. La plupart des projets d’IA qui sont en cours d’élaboration sont mis en œuvre sur CUDA. Cette technologie rassemble le compilateur et les outils de développement utilisés par les programmeurs pour développer leur logiciel pour les GPU NVIDIA, et le remplacer par une autre option dans les projets qui sont déjà en cours, c’est un problème.

Huawei, qui aspire à obtenir une partie importante de ce marché en Chine, a Cann (), qui est son alternative à Cuda, mais pour le moment Cuda, le marché domine. De plus, cet outil Nvidia met entre les mains des programmeurs Langue de haut niveau Cela leur permet d’accéder au matériel GPU de manière abordable. Même ainsi, et nous atteignons le cœur de cet article, les ingénieurs Deepseek n’ont pas utilisé de CUDA pour développer leur IA: ils ont utilisé PTX ().

Cette langue est similaire à l’assemblée. En fait, c’est en quelque sorte l’assemblée qui propose aux développeurs qui utilisent leurs GPU et doivent implémenter des optimisations de bas niveau dans leur code. La programmation avec PTX est plus difficile et plus laborieuse que de le faire avec CUDA, mais elle implique l’avantage qu’il permet aux développeurs d’écrire un code plus efficace et, par conséquent, capable de mieux profiter des ressources offertes par le matériel du GPU.

Vraisemblablement, les ingénieurs Deepseek ont ​​décidé d’utiliser PTX pour tirer le meilleur parti des GPU H800 qu’ils avaient en leur possession. L’un des stratagèmes qu’ils ont conçus ont consisté à affecter seulement 20 sm () de chaque GPU à la communication entre les serveurs, ce qui leur a permis Consacrer le 112 restant De chaque puce aux processus de calcul. Essentiellement, Deepseek a été construit depuis zéro en recourant à ce type d’optimisations, ce qui explique en grande partie pourquoi ce modèle d’IA est si efficace.

Les programmeurs de cette entreprise chinoise ont objectivement matérialisé une réussite dans le domaine de l’ingénierie qui, selon toute vraisemblance, aura un impact profond sur la façon dont les développeurs de modèles d’IA seront confrontés à leurs projets à l’avenir. C’est la preuve palpable que la Chine s’adapte avec succès à la pénurie de GPU qui ont déclenché des sanctions américaines dans leur entreprise.

Image | Nvidia

Plus d’informations | Mirae Asset Securities Korea

Dans Simseo | Nous pouvons oublier une IA sans hallucinations pour l’instant. Le directeur général de Nvidia explique pourquoi