GameNGen de Google simule des parties du jeu vidéo Doom
Une équipe de chercheurs de Google Research, Google Deep Mind et de l'Université de Tel Aviv rapporte qu'il est possible d'utiliser des applications d'apprentissage automatique pour recréer et simuler des parties ou la totalité d'un jeu vidéo existant.
Le groupe a publié un article sur le arXiv serveur de préimpression décrivant leur modification d'une application d'apprentissage existante, qu'ils appellent GameNGen, et l'ont utilisée pour reproduire et simuler de courtes sections du jeu vidéo Doom.
Les efforts visant à recréer des jeux vidéo avec l'IA générative comprennent deux types de travaux : recréer l'imagerie et recréer l'action. Le processus est appelé « rendu neuronal » et il est étudié par plusieurs groupes intéressés.
Comme d’autres applications de l’IA, cette science repose sur l’utilisation de modèles de diffusion, des systèmes génératifs qui permettent à un ordinateur de créer de nouvelles données à partir d’anciennes données à l’aide d’algorithmes spéciaux. Dans cette nouvelle étude, l’équipe de recherche a voulu déterminer s’il était possible de simuler fidèlement le jeu Doom en le recréant via l’apprentissage automatique.
L'équipe a commencé avec Stable Diffusion 1.4, un modèle de diffusion sur lequel les chercheurs de Google ont travaillé pendant plusieurs itérations. Son objectif est de créer de nouvelles images à l'aide de l'apprentissage automatique. Après avoir peaufiné le modèle, les chercheurs lui ont donné la capacité d'apprendre uniquement à partir de jeux vidéo, au lieu de tout ce qui se trouve sur Internet, et l'ont appelé GameNGen.
Ils l'ont entraîné avec des vidéos provenant de sources Internet montrant des écrans du jeu Doom en cours pendant qu'un humain jouait. Ces données ont été utilisées pour apprendre au nouveau système à quoi le monde de Doom est censé ressembler et comment le jeu est censé se dérouler. Ils l'ont ensuite laissé fonctionner et ont découvert qu'il pouvait générer de nouvelles images de jeu réalistes à plus de 20 images par seconde en utilisant un seul TPU.
Les chercheurs ont montré des extraits de Doom créés par GameNGen à des évaluateurs humains et ont découvert qu'ils étaient incapables de faire la différence entre les extraits et l'action réelle du jeu plus de la moitié du temps.
