L’approche d’apprentissage automatique « méta-semi » surpasse les algorithmes de pointe dans les tâches d’apprentissage en profondeur

Les algorithmes d’apprentissage semi-supervisé basés sur l’apprentissage profond ont montré des résultats prometteurs ces dernières années. Cependant, ils ne sont pas encore pratiques dans des scénarios d’apprentissage semi-supervisés réels, tels que le traitement d’images médicales, la classification d’images hyper-spectrales, la reconnaissance du trafic réseau et la reconnaissance de documents.

Dans ces types de scénarios, les données étiquetées sont rares pour la recherche d’hyperparamètres, car elles introduisent plusieurs hyperparamètres accordables. Une équipe de recherche a proposé un nouvel algorithme d’apprentissage semi-supervisé basé sur le méta-apprentissage appelé Meta-Semi, qui nécessite de régler un seul hyper-paramètre supplémentaire. Leur approche Meta-Semi surpasse les algorithmes d’apprentissage semi-supervisés de pointe.

L’équipe a publié ses travaux dans la revue CAAI Recherche en Intelligence Artificielle.

L’apprentissage en profondeur, une technique d’apprentissage automatique où les ordinateurs apprennent par l’exemple, montre du succès dans les tâches supervisées. Cependant, le processus d’étiquetage des données, où les données brutes sont identifiées et étiquetées, prend du temps et coûte cher. L’apprentissage en profondeur dans les tâches supervisées peut réussir lorsqu’il existe de nombreuses données d’entraînement annotées disponibles. Pourtant, dans de nombreuses applications du monde réel, seul un petit sous-ensemble de toutes les données de formation disponibles est associé à des étiquettes.

« Le succès récent de l’apprentissage en profondeur dans les tâches supervisées est alimenté par d’abondantes données de formation annotées », a déclaré Gao Huang, professeur associé au Département d’automatisation de l’Université Tsinghua. Cependant, la collecte longue et coûteuse d’étiquettes précises est un défi que les chercheurs doivent surmonter. « Le méta-semi, en tant qu’approche d’apprentissage semi-supervisé de pointe, peut former efficacement des modèles profonds avec un petit nombre d’échantillons étiquetés », a déclaré Huang.

Grâce à l’algorithme de classification Meta-Semi de l’équipe de recherche, ils exploitent efficacement les données étiquetées, tout en ne nécessitant qu’un seul hyper-paramètre supplémentaire pour obtenir des performances impressionnantes dans diverses conditions. En apprentissage automatique, un hyper-paramètre est un paramètre dont la valeur peut être utilisée pour diriger le processus d’apprentissage.

« La plupart des algorithmes d’apprentissage semi-supervisé basés sur l’apprentissage en profondeur introduisent plusieurs hyper-paramètres réglables, ce qui les rend moins pratiques dans les scénarios d’apprentissage semi-supervisés réels où les données étiquetées sont rares pour une recherche approfondie d’hyper-paramètres », a déclaré Huang.

L’équipe a développé son algorithme en partant de l’hypothèse que le réseau pouvait être formé efficacement avec les échantillons non annotés correctement pseudo-étiquetés. Ils ont d’abord généré des pseudo-étiquettes logicielles pour les données non étiquetées en ligne pendant le processus de formation sur la base des prédictions du réseau.

Ensuite, ils ont filtré les échantillons dont les pseudo-étiquettes étaient incorrectes ou peu fiables et ont formé le modèle en utilisant les données restantes avec des pseudo-étiquettes relativement fiables. Leur processus a naturellement produit une formulation de méta-apprentissage où les données correctement pseudo-étiquetées avaient une distribution similaire aux données étiquetées. Dans leur processus, si le réseau est formé avec les données pseudo-étiquetées, la perte finale sur les données étiquetées devrait également être minimisée.

L’algorithme Meta-Semi de l’équipe a atteint des performances compétitives dans diverses conditions d’apprentissage semi-supervisé. « Empiriquement, Meta-Semi surpasse de manière significative les algorithmes d’apprentissage semi-supervisés de pointe sur les tâches difficiles semi-supervisées CIFAR-100 et STL-10, et atteint des performances compétitives sur CIFAR-10 et SVHN », a déclaré Huang.

CIFAR-10, STL-10 et SVHN sont des ensembles de données ou des collections d’images fréquemment utilisées dans la formation d’algorithmes d’apprentissage automatique. « Nous montrons également théoriquement que Meta-Semi converge vers le point stationnaire de la fonction de perte sur des données étiquetées dans des conditions douces », a déclaré Huang. Comparé aux algorithmes d’apprentissage semi-supervisés profonds existants, Meta-Semi nécessite beaucoup moins d’efforts pour régler les hyper-paramètres, mais atteint des performances de pointe sur les quatre ensembles de données concurrents.

Dans la perspective de travaux futurs, l’objectif de l’équipe de recherche est de développer un algorithme d’apprentissage semi-supervisé efficace, pratique et robuste. « L’algorithme devrait nécessiter un nombre minimal d’annotations de données, des efforts minimaux de réglage des hyperparamètres et un temps de formation minimisé. Pour atteindre cet objectif, nos travaux futurs pourraient se concentrer sur la réduction du coût de formation de Meta-Semi », a déclaré Huang.

Fourni par Tsinghua University Press