De nombreux mineurs de crypto ont manqué de bonnes affaires. L’IA leur a permis de se réinventer

Le 22 septembre 2022, le réseau Ethereum a dit au revoir aux mineurs. Le changement dans le schéma d’exploitation après ‘The Merge’ a amené l’exploitation minière ETH à passer à ce qu’on appelle le ‘staking’. Cela a laissé des millions de cartes graphiques dédiées à l’extraction de ces crypto-monnaies comme des déchets presque inutiles. Et puis est venue l’intelligence artificielle.

Les GPU de minage entraînent désormais des modèles d’IA. Comme l’indique le Wall Street Journal, certaines entreprises qui vendaient auparavant des systèmes de minage (« rigs ») composés de diverses cartes graphiques se sont adaptées aux temps nouveaux. Maintenant que l’extraction de crypto-monnaies n’est plus ce qu’elle était, beaucoup redirigent leurs pas vers le domaine de l’intelligence artificielle, où ces mêmes GPU peuvent être utilisés pour former des modèles d’IA.

Reconversion. Dans WSJ, ils donnent des exemples tels que celui de la société espagnole Satoshi Spain. Ils ont reconverti leur stratégie de vente d’équipements de minage de cryptomonnaies et proposent depuis longtemps leur cloud de serveurs avec GPU pour pouvoir louer cette puissance de calcul et la dédier notamment au domaine de l’intelligence artificielle. Alejandro Ibáñez de Pedro, fondateur de la société, a expliqué comment « vous pouvez toujours retirer de l’argent de votre plate-forme minière. C’est l’exploitation minière 2.0 ».

« GPU sombres ». L’essor de l’extraction de crypto a rendu presque impossible l’obtention d’une carte graphique à un prix raisonnable pendant plusieurs années. La quasi-totalité d’entre eux ont fini par être acquis par des entités dédiées à l’extraction de crypto-monnaie. Lorsque le réseau Ethereum – le plus pertinent pour ceux qui utilisaient ces plates-formes – a dit au revoir à ces systèmes de minage, ces cartes graphiques sont restées sans objet. Will Mason, chef d’une startup d’IA, a décrit ces GPU alors laissés à eux-mêmes comme des « GPU sombres ».

Le mal, la mémoire. Pour exploiter des crypto-monnaies comme l’ETH, ces cartes graphiques ont résolu un algorithme complexe qui correspondait parfaitement aux performances des GPU conventionnels. Les choses changent lorsqu’on les réutilise pour former des modèles d’IA, et cela parce qu’il y a une exigence importante dans ce processus : la mémoire. Les cartes graphiques de jeu ont souvent des quantités limitées de mémoire vidéo, ce qui oblige à en combiner plusieurs afin d’obtenir des systèmes de formation d’IA valides, ainsi qu’à investir dans l’ajout de mémoire principale et également de beaucoup de stockage à ces systèmes. , qui travaillent avec d’énormes volumes de données.

Une idée qui n’est pas nouvelle. En fait, utiliser des cartes graphiques de jeux vidéo dans le domaine de l’intelligence artificielle est quelque chose qui se fait depuis un certain temps. À Simseo, nous avons raconté en 2021 comment Andrés Torrubia (@antor), un expert dans le domaine de l’IA, avait assemblé une bête avec six RTX 3090 avec 24 Go de mémoire vidéo, mais pas pour miner des crypto-monnaies, mais pour enquêter dans le domaine de l’apprentissage en profondeur. Comme il l’a lui-même expliqué, « la raison du choix du 3090 est la mémoire, qui est essentielle pour DL ». Avec d’autres cartes plus modestes cela pourrait fonctionner, mais tout irait plus lentement car comme il l’a expliqué, les modèles de langage basés sur les transformateurs —comme celui utilisé dans ChatGPT— « sont très gourmands en mémoire ».

Une alternative aux clouds commerciaux. Normalement, ceux qui ont besoin de former des modèles ont recours aux grandes infrastructures cloud proposées par des sociétés telles que Microsoft ou Amazon, mais les sociétés de crypto-minage qui ont été converties offrent une alternative. Dans WSJ, ils expliquent comment ces ressources de ces nouvelles infrastructures sont utilisées par les startups de l’IA ou les universités qui ont des problèmes pour accéder aux machines pour former leurs modèles.

Des milliers de GPU ont rejoint. Des startups telles que Monster en Inde ont même vu le jour, qui a réussi à rassembler 30 000 de ces puces qui étaient auparavant utilisées pour l’extraction de crypto-monnaie. Ils les ont adaptés et ont créé un centre de données dédié à offrir des services de cloud computing. Son fondateur, Saurabh Vij, a conclu des accords avec des mineurs pour leur acheter les GPU qu’ils n’utiliseraient plus. Ce n’était pas du tout difficile, car comme il l’a lui-même commenté, lorsque l’extraction de l’ETH a pris fin, « les gens ont commencé à paniquer ».