La stratégie d’Eni pour gérer les modèles d’IA

Dans le scénario de l’IA générative en constante et forte accélération, les entreprises qui ont dépassé la phase de projet pilote sont confrontées à un obstacle de gestion : l’obsolescence rapide et la dépréciation des modèles de langage (LLM) par les fournisseurs commerciaux.

Contrairement aux logiciels traditionnels, où les mises à jour maintiennent la compatibilité ascendante, dans le monde des fournisseurs d’IA, les versions des modèles sont modifiées ou retirées tous les trimestres, voire mensuellement.

Cette dynamique impose un cycle continu de turnover, posant des défis complexes sur la stabilité, les performances et la continuité opérationnelle des applications déjà déployées en production.

Dans ce cadre, Eni a développé une stratégie précise pour gérer le phénomène, et l’expérience du groupe énergétique fournit des indications précieuses aux gestionnaires et aux leaders des données qui entendent structurer une architecture d’entreprise capable d’évoluer, de réduire les coûts et d’éliminer les risques de régression qualitative des ressources internes d’IA.

Obsolescence des modèles d’IA et risques des stratégies improvisées

Lorsqu’un fournisseur annonce l’abandon d’un modèle frontière, les entreprises sans stratégie ad hoc tombent généralement dans deux pièges. La première est l’approche appelée « changer et prier » : remplacer directement l’ancien modèle par la version la plus récente, en espérant qu’aucun dysfonctionnement ou dégradation des performances ne se produise.

Cependant, les LLM ne sont pas déterministes : des variations de paramètres ou d’alignement peuvent altérer la capacité à suivre une invite ou à interpréter un contexte métier.

Le deuxième écueil est la réponse inverse, qui consiste à exécuter des tests de bout en bout complète et aveugle sur l’ensemble de l’application à chaque mise à jour. Cette méthode de « test complet », tout en garantissant une sécurité théorique, s’avère extrêmement onéreuse, lente et peu pérenne à mesure que le parc d’applications s’agrandit.

Pour surmonter cette dichotomie, Eni a défini une stratégie de Model Lifecycle Management – orientée vers la transition fondamentale de la gestion réactive des urgences à une gouvernance continue et proactive du portefeuille modèle -, illustrée lors de la conférence ‘Discussion sur l’IA et l’automatisation’ organisé par les Observatoires de l’Innovation Numérique de l’École Polytechnique de Milan.

L’architecture habilitante pour la gestion des modèles d’IA

La base de l’approche d’Eni a été construite à partir de 2024 avec l’adoption d’une plateforme d’IA d’entreprise basée sur le modèle architectural Moyeu et rayon. Le hub central fournit et met constamment à jour des services informatiques intégrés, des modèles d’application et des plans d’infrastructure pour prendre en charge les rayons individuels de l’entreprise.

Un élément crucial est la passerelle modèle intégrée dans le Plateforme Eni GenAI. La passerelle agit comme un point unique d’orchestration et de surveillance de tous les appels aux modèles LLM, permettant aux applications de fonctionner en continu même après leur mise en production.

Cela permet à l’entreprise de répondre rapidement aux exigences changeantes de l’entreprise, aux évolutions technologiques du marché et aux contraintes imposées par les politiques de gouvernance interne ou les directives externes.

Découpler les applications et les modèles

Le changement de paradigme réside dans le découplage entre les applications métiers et les modèles physiques qui les alimentent.

Dans la vision traditionnelle, un cas d’utilisation est conçu et câblé à un seul modèle LLM : si ce modèle devient obsolète et obsolète, l’ensemble de l’application doit être repensé.

Eni a surmonté cette rigidité en décomposant chaque application d’IA en « tâches d’IA » spécifiques et granulaires. L’architecture est divisée en trois composants clés :

• Registre des tâches IA : un catalogue centralisé dans lequel toutes les tâches d’IA des solutions d’entreprise sont cartographiées et classées ;
• Portefeuille modèle : l’ensemble des modèles d’IA accrédités et livrables ;
• Moteur d’évaluation : le moteur d’évaluation continue et de benchmarking.

Grâce à cette structure, les applications invoquent non plus un modèle spécifique, mais une tâche d’IA. Le système sélectionne le modèle le plus efficace et le plus efficient pour cette tâche spécifique, permettant également l’attribution de modèles différenciés pour des sous-tâches spécifiques.

Les bénéfices mesurés sont différents : « élimination des régressions en production », note Lorenzo Lancia, spécialiste de l’IA d’Eni, « réduction des coûts de mise à jour, optimisation dynamique du mix de modèles et amélioration des infrastructures d’IA privées sur site ».

Le pipeline d’évaluation : des données d’audit à l’infrastructure

Pour sélectionner les modèles d’IA de manière scientifique, Eni a mis en place un pipeline de classification et de tests qui s’inspirent de données d’utilisation réelles.

« Pendant le développement, les tests de bout en bout et l’exploitation des applications d’IA », explique Lancia, « la passerelle modèle collecte des données d’audit complètes. De celles-ci, un ensemble de données représentatif est extrait avec les traces d’exécution réelles pour chaque tâche d’IA, y compris l’invite du système, le contexte, l’invite de l’utilisateur, la sortie et l’étiquette de tâche attribuée ».

Cet ensemble de données est soumis à un double processus de mesure :

• Tests de performances approfondis : les modèles candidats – à la fois commerciaux via API et Open-weight hébergés sur l’infrastructure de calcul intensif (HPC) d’Eni – sont testés sur l’ensemble de données, générant des rapports de performances détaillés avec des mesures de qualité pour chaque classe de tâches.
• Mesure des besoins en charge : les répartitions temporelles sont analysées pour quantifier les volumes estimés en termes de RPM (Requêtes par minute) et le module TPM (Jetons par minute) pour chaque tâche d’IA et cas d’utilisation.

La définition formelle de la stratégie de choix du modèle d’IA découle de la combinaison de rapports de performances et d’exigences de charge.

Les quatre critères directeurs de sélection : qualité, coût, débit et longévité

La stratégie de sélection d’Eni équilibre quatre critères d’évaluation fondamentaux : qualité, rentabilité, débit et longévité. L’analyse des tâches d’IA couvre quatre macro-catégories de fonctionnalités GenAI :

• Génération de texte : comprend la réponse aux questions avec ou sans contexte, la génération de forme libre, la génération de code, la détection d’intention, la paraphrase, la traduction ;
• Workflow agent : tâches complexes qui nécessitent un raisonnement agentique, une orchestration des workflows agents et une activation automatique des outils ;
• Embedding : opérations vectorielles pour la recherche d’informations ;
• Concernant la sécurité : services de barrières de sécurité et de garde-corps LLM (validation des entrées, contrôles de sécurité des codes et visualisation des données).

Sur la base de ces critères, pour chaque tâche d’IA, les trois modèles jugés les plus adaptés sont sélectionnés et soumis à un examen périodique en fonction de l’évolution du marché et de la feuille de route technologique d’Eni.

Démystifier le mythe des modèles frontières

Les résultats issus du processus d’évaluation d’Eni remettent également en question un cliché très répandu : l’idée selon laquelle pour obtenir la performance d’une entreprise, il est essentiel de toujours recourir à des modèles commerciaux de pointe.

Les données de terrain montrent que plus de la moitié des tâches d’IA en entreprise peuvent être gérées avec succès sans utiliser de modèles frontières. De plus, de nombreuses tâches utilisées aujourd’hui peuvent être confiées à des modèles de petite taille (appelés modèles Tiny), qui offrent des latences minimales et de faibles coûts de calcul tout en conservant la qualité nécessaire.

Cela a permis à Eni « d’adopter un portefeuille fortement équilibré entre les LLM commerciaux et les modèles ». poids ouvert», souligne le spécialiste de l’entreprise : « grâce à l’infrastructure Private AI, Eni prend en charge la fourniture de modèles ouverts sur site, garantissant le contrôle des données sensibles, réduisant le verrouillage du fournisseur et réduisant les coûts d’exploitation à grande échelle ».

Les trois piliers d’une gouvernance de l’IA générative

La transition vers une intégration structurelle de l’IA Générative dans les processus cœur les affaires nécessitent un saut de maturité organisationnelle et technologique. De l’expérience d’Eni, trois indications stratégiques fondamentales émergent pour les décideurs qui guident la transformation numérique :

• Suivre, classer et mesurer : la collecte de tous les appels aux modèles LLM, la création d’ensembles de données de test réalistes et la conception de métriques d’évaluation constituent un effort essentiel pour permettre une gestion efficace du cycle de vie des modèles d’IA génératifs.
• Portefeuille de modèles hybrides et adaptatifs : l’avantage concurrentiel ne vient pas d’un choix a priori entre des modèles poids ouvert ou commercial, mais par la capacité d’optimiser le mix le plus efficace pour chaque objectif commercial, en maintenant un processus actualisé pour garantir l’évolution de l’écosystème.
• Standardiser et automatiser : la standardisation des processus et l’automatisation des activités de tests et de validation des performances ne peuvent plus être différées sans impacter l’évolutivité et les capacités de gestion d’un parc applicatif en constante croissance.

« La gestion des dépréciations et du cycle de vie des modèles d’IA n’est donc pas seulement une tâche technique », souligne Eni, « mais un levier stratégique pour rendre l’architecture informatique plus efficace, optimiser les investissements et garantir l’évolution continue de l’écosystème d’IA de l’entreprise ».