Comment ‘Apprenez à optimiser’ remodèle la conception et la configuration des algorithmes
Les algorithmes d’optimisation jouent un rôle essentiel dans l’apprentissage automatique et l’intelligence artificielle (IA) en général. Pendant longtemps, il a été largement admis que la conception/configuration d’algorithmes d’optimisation est une tâche qui repose fortement sur l’intelligence humaine et nécessite une conception personnalisée pour des problèmes spécifiques.
Cependant, avec la demande croissante d’IA et l’émergence de problèmes nouveaux et complexes, le paradigme de la conception manuelle est confronté à des défis importants. Si les machines peuvent concevoir automatiquement ou semi-automatiquement des algorithmes d’optimisation d’une manière ou d’une autre, cela atténuera considérablement ces défis, mais élargira également considérablement les horizons de l’IA.
Ces dernières années, les chercheurs ont exploré les moyens d’automatiser le processus de configuration et de conception des algorithmes en apprenant à partir d’un ensemble d’instances de problèmes de formation. Ces efforts, appelés Learn to Optimize (L2O), utilisent un grand nombre d'instances de problèmes d'optimisation comme entrée et tentent de former des algorithmes d'optimisation dans un espace de configuration (ou même un espace de code) avec une capacité de généralisation.
Les résultats dans des domaines tels que le SAT, l'apprentissage automatique, la vision par ordinateur et la génération d'exemples contradictoires ont montré que les algorithmes d'optimisation conçus automatiquement/semi-automatiquement peuvent fonctionner de manière comparable, voire surpasser, ceux conçus manuellement. Cela suggère que le domaine de la conception d’algorithmes d’optimisation est peut-être entré dans l’aube du « remplacement de l’humain par la machine ».
L'article passe en revue trois approches principales pour L2O : la formation de modèles de prédiction de performances, la formation d'un seul solveur et la formation d'un portefeuille de solveurs. Il aborde également les garanties théoriques du processus de formation, les cas d'application réussis et les problèmes de généralisation de L2O. Enfin, cet article indique des orientations de recherche futures prometteuses.
L'étude est publiée dans la revue Revue scientifique nationale.
.« L2O devrait devenir une technologie essentielle qui soulagera le travail humain de plus en plus inabordable dans l'IA. » dit Tang. Cependant, il souligne également que garantir une généralisation raisonnable reste un défi pour L2O, en particulier lorsqu'il s'agit de classes de problèmes complexes et de classes de solveurs.
« Une deuxième étape de réglage pourrait être nécessaire dans de nombreux scénarios du monde réel », suggère Tang. « Le ou les solveurs appris pourraient être considérés comme des modèles de base pour un réglage plus précis. »
Il estime que la création d'une synergie entre la formation et le réglage fin des modèles de base serait une direction essentielle pour exploiter pleinement le potentiel de L2O dans le développement futur.
