Selon l'AI Act, les nouveaux Llama 3.1 de Meta constituent un « risque systémique ». Le problème, ce sont les TFLOP

Le règlement européen sur l’intelligence artificielle, l’AI Act, a été approuvé en mars 2024 alors que les régulateurs de l’euro gonflaient le torse. Thierry Breton, commissaire européen, a publié un tweet polarisant des mois auparavantse vantant que l’Europe était le seul continent à réglementer l’IA.

Le problème est que Cette loi sur l’IA pourrait être un autre obstacle supplémentaire ce qui laisse l’Europe à la traîne dans la course à l’intelligence artificielle. L'exemple parfait est les nouveaux modèles LLama 3.1 de Meta.

Les modèles Llama 3 utilisent trop de TFLOPS

Dans la documentation technique de la famille de modèles Llama 3 (avec la version 3.1 incluse), Meta indique quelle est « l'échelle » de ces modèles :

« Nous avons formé un modèle à une échelle beaucoup plus grande que les modèles Llama précédents : notre modèle de langage phare a été pré-entraîné à l'aide de 3,8 × 10 ^ 25 FLOP, soit près de 50 fois plus que la plus grande version de Llama 2. Plus précisément, nous avons pré-entraîné un modèle phare avec 405 B de paramètres pouvant être entraînés sur des jetons de texte de 15,6 T. »

Et justement ça puissance de calcul utilisée pour la formation de ces modèles est supérieur à celui précisé par la loi AI afin de ne pas les considérer comme un risque systémique. La documentation sur cette réglementation fait référence à l’IA à usage général (GPAI) et précise ce qui suit :

« Les modèles GPAI présentent des risques systémiques lorsque la quantité cumulée de calcul utilisée pour leur formation est supérieure à 10 ^ 25 opérations à virgule flottante (FLOP). Les fournisseurs doivent informer la Commission si leur modèle répond à ce critère dans un délai de deux semaines. Le fournisseur peut présenter des arguments selon lesquels, bien qu'il réponde aux critères, son modèle ne présente pas de risques systémiques. La Commission peut décider par elle-même, ou par une alerte qualifiée du groupe scientifique indépendant, qu'un modèle a des capacités d'impact élevé, ce qui le rend systémique ».

Cette limite imposée par l'AI Act C'est presque quadruplé par le système utilisé pour entraîner les modèles Llama 3, donc a priori cela les qualifierait de modèles à risque systémique.

Cela ne signifie pas, attention, que leur utilisation est interdite, mais cela signifie que les prestataires doivent offrir des garanties qu'ils ne constituent pas une menace pour les citoyens et la société.

Quelle est la puissance d’une IA trop puissante ?

Les intentions et les objectifs de l’Union européenne en matière de réglementation de l’intelligence artificielle sont raisonnables et s’inscrivent dans une perspective à long terme, tandis que les entreprises technologiques ont tendance à se concentrer beaucoup plus sur le court terme et à continuer de dominer le marché.

Les perspectives sont très différentes et provoquent ce type de conflits, ainsi que l’avancée frénétique de la technologie en général et de l’IA en particulier. met la réglementation en danger d’arriver tardivement et mal…ou devenir obsolète avant même d'être efficace.

C’est un peu ce qui semble se produire avec l’AI Act, qui avec cette exigence limite les prestataires et ceux qui tentent d’innover dans ce domaine. Il y a ici une intention louable de prévenir plutôt que de guérir, mais aussi un problème : on ne sait pas quelle est la puissance d’une IA trop puissante, ni si être trop puissante présente réellement un risque.

L’Union européenne sait bien sûr aussi que cette évolution technologique est frénétique. Dans sa section de questions et réponses sur la réglementation de l'IA, les responsables se demandent si cette loi est préparée pour l'avenir et précisent que la loi sur l'IA est soumise à de futures révisions s'adapter aux temps nouveaux avec une attention particulière à la modification des limites de puissance d'entraînement mesurées en FLOPS :

« La loi IA pourra être modifiée par des actes délégués et d'exécution, et notamment pour mettre à jour le seuil FLOPS (acte délégué), ajouter des critères de classement des modèles de systèmes d'intelligence artificielle à usage général dans la catégorie de risque systémique (acte délégué) et modifier les modalités de création d'espaces de tests contrôlés et d'éléments du plan de tests en conditions réelles (actes d'exécution) ».

Nous sommes donc confrontés à une situation complexe pour les régulateurs et les fournisseurs. Le débat entre réglementation et innovation est toujours présent, mais pour l’instant, comme nous l’avons vu dans d’autres cas, l’Europe est en train de perdre.

Images | Simoneabba avec Midjourney

À Simseo | Le Japon a déjà sa propre « Elle » : c'est l'IA avec laquelle certaines personnes entretiennent une relation amoureuse