Une nouvelle façon de mesurer l’incertitude fournit une étape importante vers la confiance dans la formation du modèle d’IA

C’est évident quand un chien a été mal formé. Il ne répond pas correctement aux commandes. Il repousse les limites et se comporte de manière imprévisible. Il en va de même avec un modèle d’intelligence artificielle mal formée (IA). Seulement avec l’IA, il n’est pas toujours facile d’identifier ce qui ne va pas avec la formation.

Les chercheurs dans le monde travaillent avec une variété de modèles d’IA qui ont été formés sur des données expérimentales et théoriques. L’objectif: prédire les propriétés d’un matériau avant de prendre le temps et les dépenses pour le créer et le tester. Ils utilisent l’IA pour concevoir de meilleurs médicaments et des produits chimiques industriels dans une fraction du temps nécessaire pour les essais et erreurs expérimentaux.

Mais comment peuvent-ils faire confiance aux réponses que les modèles d’IA fournissent? Ce n’est pas seulement une question académique. Des millions de dollars d’investissement peuvent parcourir si les prédictions des modèles d’IA sont fiables.

Maintenant, une équipe de recherche du Laboratoire national du Pacifique Nord-Ouest du ministère de l’Énergie a développé une méthode pour déterminer dans quelle mesure une classe de modèles d’IA appelée potentiel de réseau neuronal a été formée. De plus, il peut identifier quand une prédiction est en dehors des limites de sa formation et où elle a besoin de plus de formation pour s’améliorer – un processus appelé apprentissage actif.

L’équipe de recherche, dirigée par les scientifiques des données PNNL Jenna Bilbrey Pope et Sutanay Choudhury, décrit comment la nouvelle méthode de quantification de l’incertitude fonctionne dans un article de recherche publié dans MATÉRIAUX DE COMPORTATION NPJ.

L’équipe rend également la méthode accessible au public sur GitHub dans le cadre de son plus grand référentiel appelé potentiel atomique (SNAP) du réseau neuronal évolutif à tous ceux qui souhaitent l’appliquer à leur propre travail.

« Nous avons remarqué que certains modèles d’incertitude ont tendance à être trop confiants, même lorsque l’erreur réelle de la prédiction est élevée », a déclaré Bilbrey Pope. « Cela est courant pour la plupart des réseaux de neurones profonds. Mais un modèle formé avec SNAP donne une métrique qui atténue cette confiance excessive. Idéalement, vous voudriez examiner à la fois l’incertitude de prédiction et l’incertitude des données de formation pour évaluer les performances globales du modèle. »

Inculquer la confiance dans la formation du modèle d’IA pour accélérer la découverte

Les chercheurs veulent profiter de la vitesse des prédictions de l’IA, mais en ce moment, il y a un compromis entre la vitesse et la précision. Il est vrai qu’un modèle d’IA peut faire des prédictions en secondes qui pourraient prendre un supercalculateur 12 heures à calculer en utilisant des méthodes traditionnelles à forte intensité de calcul. Mais les chimistes et les scientifiques des matériaux voient toujours l’IA comme une boîte noire.

La mesure de l’incertitude de l’équipe de science des données PNNL fournit un moyen de comprendre à quel point ils devraient faire confiance à une prédiction d’IA.

« L’IA devrait être en mesure de détecter avec précision ses limites de connaissances », a déclaré Choudhury. « Nous voulons que nos modèles d’IA viennent avec une garantie de confiance. Nous voulons être en mesure de faire des déclarations telles que » cette prédiction offre une confiance à 85% que le catalyseur A est meilleur que le catalyseur B, en fonction de vos exigences. ‘ »

Dans leur étude publiée, les chercheurs ont choisi de comparer leur méthode d’incertitude avec l’un des modèles de fondation les plus avancés pour la chimie des matériaux atomistiques, appelé MACE. Les chercheurs ont calculé la façon dont le modèle est formé pour calculer l’énergie de familles spécifiques de matériaux.

Ces calculs sont importants pour comprendre à quel point le modèle d’IA peut se rapprocher des méthodes plus à forte intensité de temps et d’énergie qui fonctionnent sur les superordinateurs. Les résultats montrent quels types de simulations peuvent être calculés avec la confiance que les réponses sont exactes.

Ce type de confiance et de confiance dans les prédictions est crucial pour réaliser le potentiel d’incorporer les flux de travail de l’IA dans le travail de laboratoire quotidien et la création de laboratoires autonomes où l’IA devient un assistant de laboratoire de confiance, ont ajouté les chercheurs.

« Nous avons travaillé pour permettre à » envelopper « des potentiels de réseau neuronal de chimie dans notre cadre », a déclaré Choudhury. « Puis dans un cliché, ils ont soudainement le pouvoir d’être incertain. »

Maintenant, si seuls les chiots pouvaient être formés en un clin d’œil.