Les modèles d’apprentissage automatique peuvent produire des résultats fiables même avec des données d’entraînement limitées

Les chercheurs ont déterminé comment créer des modèles d’apprentissage automatique fiables, capables de comprendre des équations complexes dans des situations réelles tout en utilisant beaucoup moins de données d’entraînement que prévu.

Les chercheurs de l’Université de Cambridge et de l’Université Cornell ont découvert que pour les équations aux dérivées partielles (une classe d’équations physiques qui décrivent comment les choses du monde naturel évoluent dans l’espace et le temps), les modèles d’apprentissage automatique peuvent produire des résultats fiables même lorsqu’ils sont fournis. avec des données limitées.

Leurs résultats, rapportés dans le Actes de l’Académie nationale des sciencespourrait être utile pour construire des modèles d’apprentissage automatique plus rapides et plus économiques pour des applications telles que l’ingénierie et la modélisation climatique.

La plupart des modèles d’apprentissage automatique nécessitent de grandes quantités de données d’entraînement avant de pouvoir commencer à renvoyer des résultats précis. Traditionnellement, un humain annote un grand volume de données, comme un ensemble d’images, par exemple, pour entraîner le modèle.

« Utiliser des humains pour former des modèles d’apprentissage automatique est efficace, mais cela prend également du temps et coûte cher », a déclaré le premier auteur, le Dr Nicolas Boullé, de l’Institut Isaac Newton des sciences mathématiques. « Nous souhaitons savoir exactement de combien de données nous avons réellement besoin pour entraîner ces modèles tout en obtenant des résultats fiables. »

D’autres chercheurs ont réussi à former des modèles d’apprentissage automatique avec une petite quantité de données et à obtenir d’excellents résultats, mais la manière dont cela a été réalisé n’a pas été bien expliquée. Pour leur étude, Boullé et ses co-auteurs, Diana Halikias et Alex Townsend de l’Université Cornell, se sont concentrés sur les équations aux dérivées partielles (EDP).

« Les PDE sont comme les éléments constitutifs de la physique : ils peuvent aider à expliquer les lois physiques de la nature, telles que la façon dont l’état d’équilibre est maintenu dans un bloc de glace en train de fondre », a déclaré Boullé, chercheur postdoctoral à la Fondation INI-Simons. « Comme il s’agit de modèles relativement simples, nous pourrons peut-être les utiliser pour faire des généralisations sur les raisons pour lesquelles ces techniques d’IA ont connu un tel succès en physique. »

Les chercheurs ont découvert que les PDE qui modélisent la diffusion ont une structure utile pour concevoir des modèles d’IA. « En utilisant un modèle simple, vous pourrez peut-être appliquer une partie de la physique que vous connaissez déjà dans l’ensemble de données d’entraînement pour obtenir une meilleure précision et de meilleures performances », a déclaré Boullé.

Les chercheurs ont construit un algorithme efficace pour prédire les solutions des PDE dans différentes conditions en exploitant les interactions à court et à long terme. Cela leur a permis d’intégrer certaines garanties mathématiques dans le modèle et de déterminer exactement la quantité de données de formation nécessaire pour obtenir un modèle robuste.

« Cela dépend du domaine, mais pour la physique, nous avons constaté qu’on peut faire beaucoup avec une quantité très limitée de données », a déclaré Boullé. « Il est surprenant de voir à quel point il faut peu de données pour obtenir un modèle fiable. Grâce aux mathématiques de ces équations, nous pouvons exploiter leur structure pour rendre les modèles plus efficaces. »

Les chercheurs affirment que leurs techniques permettront aux data scientists d’ouvrir la « boîte noire » de nombreux modèles d’apprentissage automatique et d’en concevoir de nouveaux qui pourront être interprétés par les humains, même si des recherches futures sont encore nécessaires.

« Nous devons nous assurer que les modèles apprennent les bonnes choses, mais l’apprentissage automatique pour la physique est un domaine passionnant : il existe de nombreuses connaissances mathématiques intéressantes.[s] et des questions de physique auxquelles l’IA peut nous aider à répondre », a déclaré Boullé.