Pourquoi les entreprises technologiques visent des modèles d’IA plus petits et plus légers
Les entreprises d’IA se vantent depuis longtemps de la taille et des capacités énormes de leurs produits, mais elles se tournent de plus en plus vers des modèles plus légers et plus petits qui, selon elles, permettront d’économiser de l’énergie et des coûts.
Des programmes comme ChatGPT s'appuient sur des algorithmes connus sous le nom de « grands modèles de langage », et le créateur du chatbot s'est vanté l'année dernière que son modèle GPT-4 comportait près de deux mille milliards de « paramètres », les éléments constitutifs des modèles.
La grande taille de GPT-4 permet à ChatGPT de traiter des requêtes sur tout, de l'astrophysique à la zoologie.
Mais si une entreprise a besoin d’un programme connaissant uniquement, par exemple, les tigres, l’algorithme peut être beaucoup plus petit.
« Il n'est pas nécessaire de connaître les termes du Traité de Versailles pour répondre à une question sur un élément particulier de l'ingénierie », a déclaré Laurent Félix d'Ekimetrics, un cabinet qui conseille les entreprises en matière d'IA et de développement durable.
Google, Microsoft, Meta et OpenAI ont tous commencé à proposer des modèles plus petits.
Amazon autorise également toutes les tailles de modèles sur sa plateforme cloud.
Kara Hurst, responsable du développement durable d'Amazon, a déclaré lors d'un récent événement à Paris que cela montrait que l'industrie technologique s'orientait vers « la sobriété et la frugalité ».
Besoins énergétiques
Les modèles plus petits conviennent mieux aux tâches simples telles que la synthèse et l'indexation de documents ou la recherche dans une base de données interne.
La société pharmaceutique américaine Merck, par exemple, développe un modèle avec le Boston Consulting Group (BCG) pour comprendre l'impact de certaines maladies sur les gènes.
« Ce sera un tout petit modèle, entre quelques centaines de millions et quelques milliards de paramètres », a déclaré Nicolas de Bellefonds, responsable de l'IA au BCG.
Laurent Daudet, directeur de la startup française d'IA LightOn, spécialisée dans les modèles plus petits, a déclaré qu'ils présentaient plusieurs avantages par rapport à leurs frères et sœurs plus grands.
Ils étaient souvent plus rapides et capables de « répondre simultanément à plus de requêtes et à plus d’utilisateurs », a-t-il déclaré.
Il a également souligné qu’ils étaient moins gourmands en énergie – l’impact potentiel sur le climat étant l’une des principales préoccupations concernant l’IA.
D’énormes réseaux de serveurs sont nécessaires pour « entraîner » les programmes d’IA, puis pour traiter les requêtes.
Ces serveurs, constitués de puces très avancées, nécessitent de grandes quantités d'électricité à la fois pour alimenter leur fonctionnement et pour les refroidir.
Daudet a expliqué que les modèles plus petits nécessitaient beaucoup moins de puces, ce qui les rendait moins chers et plus économes en énergie.
Un avenir multimodèle
D'autres partisans soulignent qu'ils peuvent fonctionner sans utiliser de centres de données en étant installés directement sur les appareils.
« C'est l'un des moyens de réduire l'empreinte carbone de nos modèles », déclarait en octobre au journal Libération Arthur Mensch, patron de la start-up française Mistral AI.
Laurent Félix a souligné que l'utilisation directe sur un appareil signifiait aussi plus de « sécurité et confidentialité des données ».
Les programmes pourraient potentiellement être formés sur des données propriétaires sans crainte qu’elles soient compromises.
Les programmes les plus importants conservent toutefois l’avantage de résoudre des problèmes complexes et d’accéder à un large éventail de données.
De Bellefonds a déclaré que l’avenir impliquerait probablement que les deux types de modèles se parlent.
« Il y aura un petit modèle qui comprendra la question et enverra cette information à plusieurs modèles de tailles différentes en fonction de la complexité de la question », a-t-il précisé.
« Sinon, nous aurons des solutions soit trop coûteuses, soit trop lentes, soit les deux. »
