Google DeepMind se vante d’avoir battu Minecraft avec des agents contrôlés par Gemini 4 Argon en seulement 27 heures

« Minecraft » n’est pas seulement l’un des jeux les plus réussis de l’histoire, mais aussi une excellente base pour s’amuser et apprendre. Le titre de Mojang est utilisé depuis des années pour mesurer de quoi sont capables les modèles d’intelligence artificielle et Google Deepmind vient de marquer un objectif : son Gemini 4 Argon a réalisé « Minecraft » du début à la fin sans intervention humaine.

Et il semble que cette IA l’ait fait sans triche.

En bref. Quatre agents basés sur Gemini 4 Argon ont vaincu l’Ender Dragon en 27 heures et 14 minutes. C’est le boss final du jeu et les résultats ont été publiés dans un article sur arXiv dans lequel les auteurs font partie des responsables de Google Deepmind.

Il s’agit d’un des derniers modèles de l’entreprise, qui a été mis en circuit fermé pendant des semaines pour que les experts en cybersécurité puissent le tester, mais qui a été mis à la disposition des abonnés payants le 13 octobre.

Aveugle. Le test a été réalisé dans un monde généré aléatoirement, en difficulté facile et avec les commandes de triche désactivées. Les agents n’avaient pour objectif que de tuer le dragon, sans autres instructions, outils spécifiques à Minecraft ou stratégies pour accélérer la progression. Chacun des agents contrôlait un joueur à l’aide de Mineflayer, une bibliothèque open source permettant de créer des robots de jeu, et pour agir, ils ont codé un court programme Java qui donnait les ordres.

Par exemple, se rendre sur un site, extraire certains matériaux et ce genre de choses. À eux quatre, ils ont écrit 2 783 programmes, échangé 229 messages et sont morts 605 fois. Et il y a deux ou trois choses curieuses : la première est que, sur tous ces décès, seuls 69 d’entre eux sont imputables au patron. La seconde est qu’ils ont partagé le travail seuls.

L’un fabriquait des outils, un autre rassemblait des fournitures, un autre éclairait le portail et un autre localisait la forteresse. Lorsqu’ils eurent tout, ils s’en prirent au dragon et se lancèrent dans une bataille de 14 heures au cours de laquelle ils élaborèrent également différentes stratégies pour minimiser les options du rival, comme briser les cristaux de régénération.

L’astuce. Nous avons déjà dit que la difficulté était « facile », mais il y a d’autres détails intéressants qui illustrent un peu mieux cette victoire. Selon les chercheurs, 22 % de tous les programmes qu’ils ont écrits se terminaient par des erreurs et il existait une application qui informait les agents des ressources et des créatures qui les entouraient, même celles qui étaient hors de leur vue.

Un plugin a également planifié les meilleurs itinéraires pour eux et ils ont commencé avec un avantage car « Minecraft » était déjà dans le processus de formation du modèle, donc même s’il n’y avait pas de monde préparé ni d’humains faisant des choses, il est clair que les agents n’ont pas affronté le jeu de manière nouvelle.

Et, en ce qui concerne le prix, jusqu’à la victoire, les agents avaient besoin d’environ 1 350 jetons d’entrée et, outre les quatre agents joueurs, il y en avait un cinquième qui était chargé de superviser la séance pour qu’aucun d’entre eux ne triche. La session entière coûte environ 810 $.

Pourquoi Minecraft. Ce qui est intéressant, c’est que parmi tous les jeux disponibles, seuls quelques-uns se prêtent à des tests comme celui-ci. « Minecraft » est l’un de ceux choisis pour plusieurs expériences et, dans l’expérience de DeepMind, ce que l’on cherche à tester est la cohérence sur des milliers d’étapes dépendantes pendant plus d’une journée. Auparavant, l’Université du Michigan avait déjà parlé des avantages du jeu car il s’agissait d’un environnement 3D flexible, idéal pour les tâches d’apprentissage par renforcement avec observation partielle et récompenses différées.

D’autres IA ont été formées avec « Minecraft » et ce n’est pas seulement quelque chose d’exclusif à l’IA, car dans les environnements éducatifs, c’est un jeu extrêmement intéressant parce que vous pouvez mettre en pratique des exercices collaboratifs, déductifs, une pensée latérale, entraîner cette patience, faire preuve d’imagination, de créativité et parce qu’il enseigne la pensée informatique presque involontairement.

Le système de jeu fonctionne avec une logique similaire à celle de l’électronique et, en plus, il existe des outils de programmation par blocs qui en font une bonne passerelle vers la programmation. C’est la même chose qui le rend intéressant pour la formation de l’IA, en bref, et ce monde ouvert avec des règles claires, mais des objectifs ouverts dans lesquels il faut planifier à long terme et coordonner, c’est exactement ce que DeepMind a voulu évaluer dans son modèle.

L’IA tricheuse. Mais si « Minecraft » est un bon terrain de jeu pour l’IA, un autre jeu très utilisé est « StarCraft ». En fait, avant que l’IA ne devienne le monstre qu’elle est aujourd’hui, StarCraft était déjà utilisé comme l’un des examens finaux de l’IA avec le jeu chinois Go. Récemment, lors d’une compétition de robots dans StarCraft : Brood War, où les modèles disposaient d’une heure pour programmer un robot afin de contrôler l’une des factions du jeu, GPT-6 Astra a opté pour la voie rapide.

GPT-6, qui avait accumulé plusieurs défaites, au lieu d’améliorer son propre programme, a téléchargé Stardust, un bot écrit par des humains qui est une véritable bête dans le jeu compétitif. Il s’agit évidemment d’un piège, mais aussi de ce qu’on appelle le « reward hacking » ou ce qui revient au même : atteindre l’objectif en utilisant des raccourcis, comme réussir un examen avec des tricheurs.

Ce n’était pas la première fois et il y avait déjà une IA de DeepmMind qui utilisait ‘Sonic The Hedgehog’ en utilisant des bugs dans le code du jeu et, précisément, c’était pour cela que ce cinquième agent de la nouvelle expérience DeepMind contrôlait les quatre autres de ‘Minecraft’ : pour qu’ils n’utilisent pas cette voie rapide de triche.

Par | TNW

À Simseo | Epic franchit le Rubicon du jeu vidéo et il semble que ses prochains jeux seront un développement main dans la main avec l’IA