Une méthode simple et efficace pour une formation robuste dans des ensembles de données bruyants en termes d'étiquettes
La formation de modèles d’apprentissage profond sur de grands ensembles de données est essentielle à leur réussite ; cependant, ces ensembles de données contiennent souvent du bruit d’étiquette, ce qui peut réduire considérablement les performances de classification sur les ensembles de données de test.
Pour résoudre ce problème, une équipe de recherche composée d'Enes Dedeoglu, H. Toprak Kesgin et du professeur Dr. M. Fatih Amasyali de l'Université technique de Yildiz a développé une méthode appelée Adaptive-k, qui améliore le processus d'optimisation et donne de meilleurs résultats en présence de bruit d'étiquette.
Leurs recherches ont été publiées dans Les frontières de l'informatique.
La méthode Adaptive-k se distingue par la détermination adaptative du nombre d'échantillons sélectionnés pour la mise à jour à partir du mini-lot, ce qui conduit à une séparation plus efficace des échantillons bruyants et augmente finalement le succès de la formation dans les ensembles de données bruyants sur les étiquettes.
Cette méthode innovante est simple, efficace et ne nécessite pas de connaissance préalable du rapport bruit/bruit de l'ensemble de données, ni de formation supplémentaire du modèle, ni d'augmentation significative du temps de formation. Adaptive-k a démontré son potentiel pour révolutionner la façon dont les modèles d'apprentissage profond sont formés sur des ensembles de données bruyants en affichant des performances proches de la méthode Oracle, où les échantillons bruyants sont entièrement supprimés de l'ensemble de données.
Dans leur recherche, l’équipe a comparé la méthode Adaptive-k avec d’autres algorithmes populaires, tels que Vanilla, MKL, Vanilla-MKL et Trimloss, et a évalué ses performances par rapport au scénario Oracle, où tous les échantillons bruyants sont connus et exclus.
Des expériences ont été menées sur trois ensembles de données d'images et quatre ensembles de données textuelles, prouvant que la méthode Adaptive-k est systématiquement plus performante dans les ensembles de données bruyants liés aux étiquettes. De plus, la méthode Adaptive-k est compatible avec divers optimiseurs, tels que SGD, SGDM et Adam.
Les principales contributions de cette recherche comprennent :
- Présentation d'Adaptive-k, un nouvel algorithme pour une formation robuste d'ensembles de données bruyants en termes d'étiquettes, qui est facile à mettre en œuvre et ne nécessite pas de formation de modèle supplémentaire ni d'augmentation de données.
- Analyse théorique d'Adaptive-k et comparaison avec l'algorithme MKL et SGD. • Estimation du rapport de bruit de haute précision à l'aide d'Adaptive-k sans connaissance préalable de l'ensemble de données ni ajustements d'hyperparamètres.
- Comparaisons empiriques d'Adaptive-k avec les algorithmes Oracle, Vanilla, MKL, Vanilla-MKL et Trimloss sur plusieurs ensembles de données d'images et de texte.
Les recherches futures se concentreront sur le perfectionnement de la méthode Adaptive-k, l’exploration d’applications supplémentaires et l’amélioration de ses performances.
Fourni par Higher Education Press
