Un nouveau cadre pourrait résoudre l’effondrement des modes dans les réseaux contradictoires génératifs

Les réseaux contradictoires génératifs (GAN) sont largement utilisés pour synthétiser des données complexes et réalistes en apprenant la distribution d'échantillons réels authentiques. Cependant, un défi important auquel les GAN sont confrontés est l’effondrement des modes, où la diversité des échantillons générés est nettement inférieure à celle des échantillons réels. La complexité des GAN et de leur processus de formation a rendu difficile la révélation du mécanisme sous-jacent de l’effondrement des modes.

Une équipe de recherche dirigée par le professeur Yang Zhouwang de l'Université des sciences et technologies de Chine (USTC) de l'Académie chinoise des sciences (CAS) a mené une enquête approfondie sur la cause profonde de l'effondrement des modes et a proposé un nouveau cadre, Dynamic GAN ( DynGAN), pour détecter et résoudre quantitativement l’effondrement des modes dans les GAN. Leurs travaux ont été publiés dans Transactions IEEE sur l'analyse de modèles et l'intelligence artificielle.

Grâce à une analyse théorique, l'équipe a découvert que la fonction de perte du générateur est non convexe par rapport à ses paramètres lorsque plusieurs modes existent dans les données réelles. Plus précisément, les paramètres qui aboutissent à la distribution générée ne couvrant qu'une partie des modes de la distribution réelle sont les minima locaux de la fonction de perte du générateur.

Pour résoudre le problème de l'effondrement des modes, l'équipe a proposé un cadre unifié, DynGAN. Ce cadre peut établir des seuils sur les sorties observables du discriminateur pour détecter les échantillons que le générateur ne parvient pas à générer, appelés échantillons effondrés. Les ensembles d'apprentissage sont divisés en fonction des échantillons réduits, puis des modèles génératifs conditionnels dynamiques sont formés sur les partitions.

Les résultats théoriques ont assuré la couverture en mode progressif de DynGAN. Les résultats expérimentaux sur des ensembles de données synthétiques et réels ont montré que DynGAN surpasse les GAN existants et leurs variantes dans la résolution de l'effondrement du mode d'adresse.

Cette recherche a non seulement fait progresser la compréhension théorique du GAN, mais fournit également une stratégie de mise en œuvre cruciale pour améliorer la couverture modale des modèles génératifs.

Fourni par l'Université des sciences et technologies de Chine