Il y a un quart de siècle, un étudiant a assemblé 32 cartes graphiques GeForce pour jouer à Quake III. CUDA vient de là

En 2000, Ian Buck voulait faire quelque chose qui semblait impossible : jouer à Quake III en résolution 8K. Le jeune Buck étudiait l'informatique à Stanford, spécialisé en infographie, et c'est alors qu'une idée folle lui est venue : assembler 32 cartes graphiques GeForce et restituer Quake III sur huit projecteurs stratégiquement placés.

« C'était magnifique », expliqua-t-il des années plus tard.

Buck a raconté cette histoire dans « The Thining Machine », l'essai publié par Stephen Witt en 2025 qui retrace l'histoire de NVIDIA. Et bien sûr, l’un des éléments fondamentaux de cette histoire est l’origine de CUDA, l’architecture que les développeurs d’IA ont transformée en un joyau et qui a permis à l’entreprise de se développer et de devenir la plus importante au monde en termes de capitalisation boursière.

Et tout a commencé avec Quake III.

Le GPU comme supercalculateur domestique

Bien sûr, ce n'était qu'une expérience amusante, mais pour Buck, ce fut une révélation, car il y découvrit que les puces graphiques spécialisées (GPU) pouvaient peut-être faire plus que dessiner des triangles et restituer des images Quake.

Pour le savoir, il s'est penché sur les aspects techniques des processeurs graphiques NVIDIA et a commencé à étudier leurs possibilités dans le cadre de son doctorat à Stanford. Il a réuni un petit groupe de chercheurs et, grâce à une subvention de la DARPA (Defense Advanced Research Projects Agency), a commencé à travailler sur un langage de programmation open source qu'il a appelé Brook.

Ce langage a permis quelque chose d’incroyable : faire des cartes graphiques des superordinateurs domestiques. Buck a démontré que les GPU, théoriquement dédiés au travail avec les graphiques, pouvaient résoudre des problèmes d'ordre général, et ce également en tirant parti du parallélisme offert par ces puces.

Ainsi, tandis qu'une partie de la puce éclairait le triangle A, une autre rastérisait déjà le triangle B et une autre écrivait le triangle C en mémoire. Ce n'était pas exactement la même chose que le parallélisme des données d'aujourd'hui, mais il offrait toujours une puissance de calcul incroyable, bien supérieure à n'importe quel processeur de l'époque.

Ce langage spécialisé a fini par devenir un article intitulé « Brook for GPUs : stream computing on Graphics Hardware ». Soudainement, l’informatique parallèle était accessible à tous, et bien que ce projet ait à peine bénéficié d’une couverture publique, il est devenu quelque chose dont une personne savait qu’il était important.

Cette personne était Jensen Huang.

Peu de temps après la publication de cette étude, le fondateur de NVIDIA a rencontré Buck et l'a signé sur-le-champ. Il s'est rendu compte que cette capacité des processeurs graphiques pouvait et devait être exploitée et a commencé à y consacrer de plus en plus de ressources.

CUDA est née

Lorsque Silicon Graphics s'est effondrée en 2005 – à cause de NVIDIA qui était intraitable dans les postes de travail – beaucoup de ses employés ont fini par travailler pour l'entreprise. 1 200 d'entre elles sont en effet allées directement à la division R&D, et l'un des grands projets de cette division était justement d'exploiter cette capacité de ces cartes.

Dès son arrivée chez NVIDIA, Ian Buck a commencé à travailler avec John Nickolls, qui avant de travailler pour la société avait tenté – sans succès – d'anticiper l'avenir avec son engagement dans le calcul parallèle. Cette tentative a échoué, mais avec Buck et quelques autres ingénieurs, il a lancé un projet auquel NVIDIA a préféré donner un nom quelque peu déroutant. Il l’a appelé Compute Unified Domain Architecture.

CUDA est née.

Les travaux sur CUDA ont progressé rapidement et NVIDIA a publié la première version de cette technologie en novembre 2006. Ce logiciel était gratuit, mais n'était compatible qu'avec le matériel NVIDIA. Et comme cela arrive souvent avec de nombreuses révolutions, CUDA a mis du temps à se mettre en place.

En 2007, la plateforme logicielle a été téléchargée 13 000 fois : les centaines de millions d'utilisateurs de cartes graphiques NVIDIA ne les voulaient que pour les jeux, et cela est resté ainsi pendant longtemps. Programmer pour tirer parti de CUDA était difficile, et ces premiers jours ont été très difficiles pour ce projet, qui a consommé beaucoup de talent et de finances chez NVIDIA sans en voir de réels avantages.

En fait, les premières utilisations de CUDA n’avaient rien à voir avec l’intelligence artificielle car on en parlait peu à l’époque. Ceux qui ont profité de cette technologie étaient des départements scientifiques, et ce n’est que des années plus tard que la révolution que cette technologie pourrait provoquer prendra forme.

Un succès tardif (mais mérité)

En fait, Buck lui-même l'a souligné dans une interview avec Tom's Hardware en 2012. Lorsque l'intervieweur lui a demandé quelles utilisations futures il envisageait pour la technologie GPGPU proposée par CUDA à l'avenir, il a donné quelques exemples.

Il a parlé des entreprises qui utilisaient CUDA pour concevoir des vêtements ou des voitures de nouvelle génération, mais il a ajouté quelque chose d'important :

« À l'avenir, nous continuerons à voir des opportunités dans les médias personnels, telles que le tri et la recherche de photos en fonction du contenu de l'image, c'est-à-dire les visages, l'emplacement, etc., ce qui représente une opération très gourmande en calcul. »

Ici, Buck savait de quoi il parlait, même s'il n'imaginait pas que ce serait le début de la véritable révolution CUDA. En 2012, deux jeunes doctorants, Alex Krizhevsky et Ilya Sutskever, ont développé un projet sous la tutelle de leur superviseur, Geoffrey Hinton.

Ce projet n'était autre qu'AlexNet, le logiciel qui permettait de classer automatiquement les images et qui jusqu'alors constituait un défi inutile en raison du coût informatique qu'il nécessitait. C’est alors que ces universitaires ont formé un réseau de neurones avec des cartes graphiques NVIDIA et le logiciel CUDA.

Soudain, l’IA et CUDA commençaient à prendre un sens.

Le reste, comme on dit, appartient à l’histoire.

À Simseo | Nous pouvons oublier l’IA sans hallucinations pour l’instant. Le PDG de NVIDIA explique pourquoi