Il le fait en comprenant le langage naturel

Qu’une intelligence artificielle joue aux jeux vidéo n’est pas quelque chose de nouveau. Bien qu'il s'agisse d'une étape technologique, la réalité est que nous avons déjà vu des machines jouer à des jeux « Go », « Starcraft I'I et même Atari, mais la dernière de Google va plus loin. Et DeepMind, le laboratoire d'intelligence artificielle de Mountain View, a annoncé SIMA, une intelligence artificielle qui non seulement joue, mais comprend aussi le langage naturel pour savoir ce qu'elle doit faire.

Avant vs. maintenant. Jusqu'à présent, les intelligences artificielles qui jouaient à des jeux vidéo jouaient à un jeu vidéo, voir « Go » ou « Starcraft II » susmentionnés. Une IA, un jeu. La clé de SIMA (Scalable Instructable Multiworld Agent) est que vous pouvez apprendre à jouer à pratiquement n'importe quel titre. Comme l'explique Google, c'est la première fois qu'un agent IA démontre sa capacité à comprendre un « large éventail de mondes de jeu » et à suivre « des instructions en langage naturel pour y effectuer des tâches ». Le livre blanc est disponible ici (PDF).

« Écrasez la pierre, abattez les arbres ». Pour former SIMA, DeepMind a collaboré avec huit studios de jeux vidéo et utilisé de nouveaux titres différents, tels que « No Man's Sky », « Satisfactory », « Goat Simulator 3 » ou « Valheim ». Chaque jeu est un monde et implique différentes actions réalisées de différentes manières. L'objectif était de comprendre le lien entre le langage et le comportement dans le jeu.

Pour ce faire, le laboratoire a adopté deux approches. Tout d’abord, ils ont enregistré des paires de joueurs humains. L’un jouait et l’autre regardait et donnait des instructions. Deuxièmement, ils ont fait jouer librement les joueurs afin qu'ils puissent ensuite revoir le jeu et s'enregistrer en donnant les instructions qui les auraient amenés à exécuter les actions réalisées dans le jeu.

Comprendre et faire. Comme l'explique Google, SIMA repose sur un modèle de langage image et un autre modèle vidéo qui prédit ce qui va se passer à l'écran. L'IA n'a pas besoin d'accéder au code source ou à des outils externes pour fonctionner, mais n'a besoin que de deux entrées : l'image de l'écran et les instructions données en langage naturel par l'utilisateur. Pour la saisie, il utilise un clavier et une souris, permettant à l'IA de « potentiellement interagir avec n'importe quel autre environnement virtuel ».

Des commandes de base qui peuvent aller plus loin. Actuellement, le SIMA est évalué sur 600 compétences de base, dont le mouvement, l'interaction avec les objets et l'utilisation des menus. Par exemple, on peut demander à l’IA d’abattre des arbres, de collecter de l’eau ou de sauter par-dessus une clôture et, selon Google, elle est capable de le faire en dix secondes. C’est un chiffre élevé certes, mais impressionnant en tout cas au vu de ce qui se passe.

En outre, l’objectif est que l’IA soit capable de réaliser des actions qui nécessitent une plus grande planification et impliquent davantage de sous-tâches. Abattre des arbres n’est pas la même chose qu’installer un campement. Le but est de pouvoir faire ça : dire à l’IA de nous amener en joueur humain. J'espère pouvoir le mettre un jour en arrière-plan pour cultiver de l'or.

Implications possibles. Bien que SIMA soit encore dans une phase initiale et nécessite plus de recherche et développement, la vérité est que le but n'est pas de créer une IA capable de planter le Spike et de défendre longtemps en choisissant le pixel avec le Vandal. La recherche vise des systèmes plus généraux, « capables de comprendre et d'effectuer en toute sécurité un large éventail de tâches d'une manière utile aux personnes en ligne et dans le monde réel », selon Google. De temps en temps.

Images | Générateur d'images Bing

À Simseo | Il y a ceux qui tentent de créer un PC comparable à une PS5 et qui coûte le même prix. Et ça échoue lamentablement.