Apprentissage automatique automatisé du point de vue de l'optimisation à deux niveaux

Apprentissage automatique automatisé du point de vue de l’optimisation à deux niveaux

Récemment, les professeurs Risheng Liu de l’Université de technologie de Dalian et Zhouchen Lin de l’Université de Pékin ont collaboré à un article d’opinion publié dans le Revue scientifique nationale (NSR). Leur article approfondit AutoML du point de vue de l’optimisation à deux niveaux, réalisant une modélisation unifiée de diverses tâches AutoML tout en explorant les défis et les opportunités. Cet article sera inclus dans le RSNle sujet spécial de « Automatisation de l’apprentissage automatique ».

Généralement, AutoML nécessite l’automatisation de trois tâches clés, notamment l’apprentissage des méta-fonctionnalités, la recherche d’architecture de réseau neuronal et l’optimisation des hyperparamètres. L’optimisation à deux niveaux (BLO) est un outil mathématique efficace pour modéliser ces tâches, fournissant un cadre AutoML unifié. Ce framework atteint l’objectif principal d’AutoML : construire des modèles hautes performances avec une intervention humaine minimale.

Plus précisément, dans l’optimisation de niveau supérieur, les variables de base sont des « méta-paramètres », visant à rechercher la « méthodologie » optimale pour optimiser les performances des modèles d’apprentissage automatique sur l’ensemble de validation (tels que les méta-fonctionnalités, les structures de réseau et hyperparamètres). D’un autre côté, les variables essentielles de l’optimisation de niveau inférieur sont les « paramètres du modèle », axés sur l’optimisation des performances du modèle sur l’ensemble d’entraînement.

Actuellement, les technologies ML/AutoML, représentées par des algorithmes BLO basés sur des gradients, ont progressivement pris de l’importance. Cependant, ils sont encore confrontés à de nombreux défis dans leurs applications pratiques.

Par exemple, certains algorithmes s’appuient fortement sur la singularité et la convexité des problèmes de niveau inférieur, ce qui limite leur praticité dans des scénarios du monde réel. De plus, lors de l’utilisation de méthodes de substitution approximative dans des applications pratiques, il existe un manque d’analyse théorique concernant la convergence rigoureuse des algorithmes.

À l’avenir, les défis rencontrés par BLO dans le domaine de l’AutoML et les orientations de recherche prometteuses incluent principalement les aspects suivants :

  • Accélération du calcul : à mesure que l’échelle des ensembles de données s’étend et que la complexité des tâches augmente, il devient urgent d’accélérer la vitesse de calcul des algorithmes BLO pour gérer les tâches AutoML à grande échelle et de grande dimension. Les technologies informatiques parallèles/distribuées pourraient constituer une approche efficace pour résoudre ce problème.
  • Percées théoriques : actuellement, les méthodes BLO basées sur le gradient s’appuient fortement sur des hypothèses théoriques strictes, telles que l’hypothèse de sous-modularité et de convexité dans les problèmes de niveau inférieur. Pour répondre aux exigences des applications du monde réel, il est nécessaire de construire de nouveaux cadres d’analyse théorique et des méthodes de calcul efficaces pour mieux gérer des scénarios pratiques plus difficiles impliquant la non-convexité et la discrétion.
  • Apprentissage dérivé de l’optimisation : dans la nouvelle perspective de l’optimisation à deux niveaux, nous pouvons explorer les technologies AutoML révolutionnaires qui intègrent la méthodologie d’apprentissage par simulation (SLeM), en particulier lorsqu’elles sont intégrées à de grands modèles. Cette exploration implique d’approfondir la logique sous-jacente d’AutoML pour concevoir des stratégies d’apprentissage plus efficaces et plus précises.

En résumé, cet article a réalisé une modélisation unifiée de différentes tâches AutoML du point de vue de BLO. Il analyse en profondeur l’état actuel et les orientations futures d’AutoML, centrées sur le développement d’algorithmes BLO. Les nouveaux points de vue présentés dans cet article contribuent à faire progresser AutoML, permettant à la technologie de l’intelligence artificielle de progresser vers des domaines plus intelligents et plus efficaces.