Les chercheurs exploitent de grands modèles de langage pour accélérer la découverte de matériaux
Des chercheurs de Princeton ont créé un outil d’intelligence artificielle (IA) pour prédire le comportement des matériaux cristallins, une étape clé dans l’avancement de technologies telles que les batteries et les semi-conducteurs. Bien que les simulations informatiques soient couramment utilisées dans la conception de cristaux, la nouvelle méthode repose sur un grand modèle de langage, similaire à ceux qui alimentent les générateurs de texte comme ChatGPT.
En synthétisant les informations à partir de descriptions textuelles incluant des détails tels que la longueur et les angles des liaisons entre atomes et les mesures des propriétés électroniques et optiques, la nouvelle méthode peut prédire les propriétés de nouveaux matériaux avec plus de précision et de profondeur que les simulations existantes, et potentiellement accélérer le processus. de concevoir et de tester de nouvelles technologies.
Les chercheurs ont développé un référentiel textuel composé des descriptions de plus de 140 000 cristaux du projet Materials, puis l’ont utilisé pour former une version adaptée d’un grand modèle de langage appelé T5, créé à l’origine par Google Research. Ils ont testé la capacité de l’outil à prédire les propriétés des structures cristallines précédemment étudiées, du sel de table ordinaire aux semi-conducteurs en silicium. Maintenant qu’ils ont démontré son pouvoir prédictif, ils travaillent à appliquer l’outil à la conception de nouveaux matériaux cristallins.
La méthode, présentée le 29 novembre lors de la réunion d’automne de la Materials Research Society à Boston, représente une nouvelle référence qui pourrait aider à accélérer la découverte de matériaux pour un large éventail d’applications, selon l’auteur principal de l’étude Adji Bousso Dieng, professeur adjoint d’informatique à Princeton.
L’article décrivant la méthode, « LLM-Prop : Prédire les propriétés physiques et électroniques des solides cristallins à partir de leurs descriptions textuelles », est maintenant publié sur le arXiv serveur de préimpression.
Les outils existants basés sur l’IA pour la prédiction des propriétés des cristaux s’appuient sur des méthodes appelées réseaux de neurones graphiques, mais ceux-ci ont une puissance de calcul limitée et ne peuvent pas capturer de manière adéquate les nuances de la géométrie et les longueurs des liaisons entre les atomes d’un cristal, ainsi que les propriétés électroniques et optiques. qui résultent de ces structures. L’équipe de Dieng est la première à s’attaquer au problème en utilisant de grands modèles linguistiques, a-t-elle déclaré.
« Nous avons fait d’énormes progrès en matière de vision par ordinateur et de langage naturel », a déclaré Dieng, « mais nous ne sommes pas encore très avancés lorsqu’il s’agit de traiter les graphiques ». [in AI]. Je voulais donc passer du graphique à sa traduction dans un domaine où nous disposons déjà d’excellents outils. Si nous avons du texte, nous pouvons alors exploiter tous ces puissants [large language models] sur ce texte. »
L’approche basée sur un modèle de langage « nous donne une toute nouvelle façon d’aborder le problème » de la conception de matériaux, a déclaré Craig Arnold, co-auteur de l’étude, professeur Susan Dod Brown de génie mécanique et aérospatial à Princeton et vice-doyen à l’innovation. « Il s’agit vraiment de savoir comment accéder à toutes ces connaissances que l’humanité a développées et comment puis-je traiter ces connaissances pour aller de l’avant ? C’est typiquement différent de nos approches actuelles, et je pense que c’est ce qui lui donne beaucoup de pouvoir. »
Pour un aperçu des défis de la conception des cristaux, Dieng et Ph.D. L’étudiant Andre Niyongabo Rubungo a fait équipe avec Arnold et avec Barry Rand, professeur de génie électrique et informatique et du Centre Andlinger pour l’énergie et l’environnement qui se concentre sur les matériaux pour semi-conducteurs et l’énergie solaire. Arnold s’intéresse aux interactions laser-matériau, avec des applications pour le stockage d’énergie.
« Les matériaux de notre monde sont tous ceux qui ont été développés grâce à des tests d’hypothèses scientifiques et parfois à la chance », a déclaré Rand. Ce processus « conduit à de bons résultats, mais cela prend du temps. Grâce aux méthodes d’intelligence artificielle, nous pourrions vraiment accélérer cela ». De plus, a-t-il ajouté, « cela nous permet d’identifier des choses dont nous, les humains, ne pourrions probablement pas avoir l’intuition ».
Étant donné un cristal avec une composition particulière d’éléments chimiques, la méthode de l’équipe peut prédire des propriétés, notamment la bande interdite, qui est liée aux états électroniques et à la conductivité du cristal.
« Si vous pouvez prédire cela avec une grande précision, lorsque vous entreprenez ensuite un travail minutieux d’expérimentation, vous pouvez être plus sûr que cela aboutira au succès », a déclaré Rand.
doctorat l’étudiant Rubungo a reçu le prix de la meilleure affiche pour avoir présenté ses travaux aux chercheurs en matériaux lors de la réunion d’automne. Beaucoup ont été surpris par la puissance des grands modèles linguistiques dans ce contexte. Le domaine est plus habitué aux données structurées utilisées comme entrées pour les réseaux neuronaux graphiques, mais « les textes sont plus faciles à traiter », a déclaré Rubungo. « Il est plus facile d’inclure les informations souhaitées dans votre description, de modifier l’outil et de supprimer ce que vous ne voulez pas. Les gens étaient très enthousiastes de voir cela. »
En tant que nouvel outil, a-t-il souligné, la méthode de prédiction présente des limites. Il utilise plus de puissance de calcul et est plus lent que les réseaux de neurones graphiques généralement utilisés à cette fin. Il pourrait également bénéficier de données de formation élargies pour renforcer sa capacité à prédire les propriétés de nouveaux matériaux.
Dieng poursuit ses collaborations avec d’autres chercheurs en matériaux et vise à étendre ses travaux au-delà des cristaux vers une plus grande variété de matériaux. « Il s’agit d’un domaine de recherche naissant, et ce qui fait progresser la recherche, c’est de disposer d’une référence bien établie et bien organisée », a-t-elle déclaré. « Nous rassemblons davantage d’ensembles de données dans un référentiel qui sera hébergé à Princeton pour que les chercheurs puissent l’utiliser. »
