‘Tableau périodique de l’apprentissage automatique’ Le cadre unifie les modèles d’IA pour accélérer l’innovation

Les chercheurs du MIT ont créé un tableau périodique qui montre comment plus de 20 algorithmes classiques d’apprentissage automatique sont connectés. Le nouveau cadre met en lumière la façon dont les scientifiques pouvaient fusionner les stratégies de différentes méthodes pour améliorer les modèles d’IA existants ou en proposer de nouveaux.

Par exemple, les chercheurs ont utilisé leur cadre pour combiner des éléments de deux algorithmes différents pour créer un nouvel algorithme d’image-classification qui a effectué 8% mieux que les approches actuelles de pointe.

Le tableau périodique découle d’une idée clé: tous ces algorithmes apprennent un type spécifique de relation entre les points de données. Bien que chaque algorithme puisse accomplir cela d’une manière légèrement différente, les mathématiques de base derrière chaque approche sont les mêmes.

S’appuyant sur ces idées, les chercheurs ont identifié une équation unificatrice qui sous-tend de nombreux algorithmes d’IA classiques. Ils ont utilisé cette équation pour recadrer des méthodes populaires et les organiser dans un tableau, catégorisant chacune en fonction des relations approximatives qu’il apprend.

Tout comme le tableau périodique des éléments chimiques, qui contenait initialement des carrés vierges qui ont ensuite été remplis par les scientifiques, le tableau périodique de l’apprentissage automatique a également des espaces vides. Ces espaces prédisent où les algorithmes devraient exister, mais qui parviennent’ils ont encore été découverts.

Le tableau donne aux chercheurs une boîte à outils pour concevoir de nouveaux algorithmes sans avoir besoin de redécouvrir les idées à partir d’approches antérieures, explique Shaden Alshammari, étudiant diplômé du MIT et auteur principal d’un article sur ce nouveau cadre.

« Il’n’est pas seulement une métaphore, « ajoute alshammari. » Nous’Commencez à voir l’apprentissage automatique comme un système avec une structure qui est un espace que nous pouvons explorer plutôt que de simplement deviner notre chemin. « 

Elle est rejointe sur l’article par John Hershey, chercheur chez Google AI Perception; Axel Feldmann, étudiant diplômé du MIT; William Freeman, le professeur de génie électrique et d’informatique de Thomas et Gerd Perkins et membre du laboratoire d’informatique et d’intelligence artificielle (CSAIL); et l’auteur principal Mark Hamilton, étudiant diplômé du MIT et directeur d’ingénierie senior chez Microsoft. La recherche sera présentée à la Conférence internationale sur les représentations de l’apprentissage.

Une équation accidentelle

Les chercheurs n’ont pas fait’T a décidé de créer un tableau périodique de l’apprentissage automatique.

Après avoir rejoint le Freeman Lab, Alshammari a commencé à étudier le clustering, une technique d’apprentissage automatique qui classe les images en apprenant à organiser des images similaires dans des grappes à proximité.

Elle a réalisé que l’algorithme de clustering qu’elle étudiait était similaire à un autre algorithme classique d’apprentissage de la machine, appelé apprentissage contrastif, et a commencé à creuser plus profondément dans les mathématiques. Alshammari a constaté que ces deux algorithmes disparates pouvaient être recadrés en utilisant la même équation sous-jacente.

« Nous sommes presque arrivés à cette équation unificatrice par accident. Une fois que Shaden a découvert qu’il relie deux méthodes, nous avons juste commencé à rêver de nouvelles méthodes pour apporter dans ce cadre. Presque tous les États-Unis que nous avons essayés pourraient être ajoutés », explique Hamilton.

Le cadre qu’ils ont créé, l’apprentissage contrasté des informations (I-CON), montre comment une variété d’algorithmes peut être visionnée à travers l’objectif de cette équation unificatrice. Il comprend tout, des algorithmes de classification qui peuvent détecter le spam aux algorithmes d’apprentissage en profondeur que Power LLMS.

L’équation décrit comment ces algorithmes trouvent des connexions entre les points de données réels, puis se rapprochent de ces connexions en interne.

Chaque algorithme vise à minimiser la quantité d’écart entre les connexions qu’il apprend à approximer et les connexions réelles de ses données de formation.

Ils ont décidé d’organiser I-CON dans un tableau périodique pour catégoriser les algorithmes en fonction de la façon dont les points sont connectés dans les ensembles de données réels et les principaux moyens d’algorithmes peuvent approximer ces connexions.

« Le travail s’est déroulé progressivement, mais une fois que nous avons identifié la structure générale de cette équation, il était plus facile d’ajouter plus de méthodes à notre cadre », explique Alshammari.

Un outil de découverte

Alors qu’ils disposaient de la table, les chercheurs ont commencé à voir des lacunes où les algorithmes pouvaient exister, mais qui parviennent’ils ont encore été inventés.

Les chercheurs ont comblé une lacune en empruntant des idées à une technique d’apprentissage automatique appelé apprentissage contrastif et en les appliquant au regroupement d’images. Cela a abouti à un nouvel algorithme qui pourrait classer les images non étiquetées 8% mieux qu’une autre approche de pointe.

Ils ont également utilisé I-CON pour montrer comment une technique de debiasing de données développée pour l’apprentissage contrastif pourrait être utilisée pour augmenter la précision des algorithmes de clustering.

De plus, le tableau périodique flexible permet aux chercheurs d’ajouter de nouvelles lignes et colonnes pour représenter des types supplémentaires de connexions de point de données.

En fin de compte, avoir I-Con en tant que guide pourrait aider les scientifiques des machines à sortir des sentiers battus, les encourageant à combiner des idées de manière à’T a nécessairement pensé autrement, dit Hamilton.

« Nous’Ve a montré qu’une seule équation très élégante, enracinée dans la science de l’information, vous donne de riches algorithmes couvrant 100 ans de recherche en apprentissage automatique. Cela ouvre de nombreuses nouvelles avenues pour la découverte », ajoute-t-il.