Intel prépare son propre ChatGPT pour le domaine scientifique. Un avec mille milliards de paramètres

L’intelligence artificielle est devenue le centre d’intérêt absolu de l’industrie technologique, et de nombreuses entreprises (mais pas toutes) se sont tournées et ont réorienté leurs efforts vers ce domaine. Le dernier exemple en date est celui d’Intel, qui vient d’annoncer le cahier des charges de son prochain supercalculateur hallucinant, et l’accompagne d’un nouveau modèle d’intelligence artificielle générative.

aube. Ce sera le nom du nouveau supercalculateur créé par Intel pour le laboratoire national d’Argonne aux États-Unis. Après de nombreux retards, ce projet a doublé ses objectifs initiaux et aura une puissance de plus de 2 exaFlops (Frontier, l’actuel leader du classement Top500, atteint 1,6 ExaFlops). Pour cela, il utilisera 21 248 CPU Xeon, 63 744 GPU Xeon Max et 10,9 Pbytes de mémoire DDR5.

IA générative et scientifique. Une partie de ces ressources sera utilisée pour le développement et l’application de nouveaux modèles d’IA générative spécifiquement orientés vers le domaine scientifique. Selon la société, ces modèles seront formés sur du texte général, du code, des textes scientifiques et « des données scientifiques structurées provenant de domaines tels que la biologie, la chimie, la science des matériaux, la physique, la médecine et d’autres sources ».

Un trillion* de paramètres. Selon Intel, les modèles « Aurora genAI » qui en résultent peuvent avoir jusqu’à un billion (* en bref, à une échelle numérique, équivalente à notre billion) de paramètres. C’est presque deux fois plus que ceux utilisés pour former PaLM (prédécesseur du PaLM 2 récemment sorti), par exemple, et près de six fois plus que ceux utilisés pour GPT-3, dont la variante GPT-3.5 est la base de ChatGPT.

Science générée par l’IA. L’objectif de ces modèles gigantesques sera d’être appliqué à des domaines tels que la conception de matériaux ou à l’expérimentation en biologie, en science du climat ou en cosmologie. Le modèle, disent-ils chez Intel, peut être utilisé pour accélérer l’identification des processus biologiques liés au cancer et à d’autres maladies, en plus de suggérer des cibles pour la conception de médicaments.

Et bien sûr, des chips. Ces efforts seront accompagnés par le développement de puces spécifiquement orientées vers le traitement et l’entraînement des modèles d’IA. Les puces de la famille Falcon Shores auront 288 gigaoctets de mémoire et prendront en charge le calcul en virgule flottante 8 bits. Ces spécifications sont importantes pour les applications d’IA, et l’objectif d’Intel est de combler l’écart entre NVIDIA et même AMD, qui va bientôt lancer des puces MI300 prometteuses, dans ce domaine.