L'IA produit des puzzles de connexions qui rivalisent avec ceux créés par les humains

L'intelligence artificielle (IA) peut-elle créer des mots croisés aussi captivants et stimulants que ceux élaborés par des experts humains ? Une étude, publiée sur le site arXiv Le serveur de préimpression suggère que la réponse pourrait être oui, du moins en ce qui concerne le jeu populaire Connections du New York Times.

Des chercheurs de la NYU Tandon School of Engineering et de Jester Labs ont développé un système d'IA capable de générer de nouveaux puzzles Connections qui rivalisent souvent avec ceux créés par les concepteurs de puzzles du Times.

Dans une étude réalisée auprès d'utilisateurs, les participants ont joué à des puzzles générés par l'IA et à des puzzles officiels du Times sans connaître leur source. Dans environ la moitié des comparaisons directes, les joueurs ont jugé que les puzzles créés par l'IA étaient tout aussi agréables, créatifs et difficiles que leurs homologues créés par des humains.

Leurs découvertes mettent en lumière les capacités créatives de grands modèles linguistiques comme GPT-4.

Connections, qui a fait ses débuts en juin 2023, met les joueurs au défi de trier 16 mots en quatre groupes de quatre thématiques. Le jeu est rapidement devenu l'une des offres en ligne les plus populaires du Times, deuxième après Wordle, avec des milliards de parties jouées par an.

Pour créer des puzzles générés par l'IA, les chercheurs ont utilisé une approche de « flux de travail agentique ». Cette méthode consiste à utiliser GPT-4 dans plusieurs rôles spécialisés tout au long du processus de création du puzzle.

Au lieu de demander à l’IA de générer un puzzle entier en une seule fois, les chercheurs ont décomposé la tâche en étapes plus petites et plus ciblées. Pour chaque étape, ils ont donné des instructions spécifiques à GPT-4, lui faisant jouer différents rôles tels que celui de créateur de puzzle, d’éditeur et d’évaluateur de difficulté.

Cette approche a permis à l’équipe d’exploiter plus efficacement les capacités de l’IA en la guidant à travers un processus qui imite la façon dont les concepteurs humains pourraient aborder la création d’énigmes.

« Nous avons découvert que résoudre un problème complexe comme la création d'un puzzle de connexions nécessite plus que de simplement demander à une IA de le faire », a déclaré Timothy Merino, doctorant au Game Innovation Lab de l'université de New York Tandon et auteur principal de l'étude. « En décomposant la tâche en étapes plus petites et plus faciles à gérer et en utilisant le LLM comme outil de diverses manières, nous avons obtenu de meilleurs résultats. »

Julian Togelius, auteur principal de l'étude et professeur associé d'informatique et d'ingénierie à l'université de New York Tandon et directeur du Game Innovation Lab, a souligné l'importance de cette approche. « Le LLM est essentiel à notre système, mais il n'est pas aux commandes. Nous l'utilisons dans différentes parties du système pour des tâches spécifiques, comme demander le meilleur concept qui s'appliquerait à une liste de mots particulière. »

Les chercheurs ont également identifié deux façons principales d'introduire des difficultés dans les puzzles : le « chevauchement intentionnel » et les « faux groupes ». Ils ont analysé la similarité des mots par rapport aux niveaux de difficulté et ont découvert que les groupes de mots les plus faciles ont tendance à avoir plus de mots similaires, tandis que les groupes plus difficiles ont moins de mots similaires.

« J'ai été constamment surpris de voir à quel point GPT était efficace pour créer des groupes de mots intelligents », a déclaré Merino. « L'un de mes mots préférés générés par l'IA est « Beatles Album Words » : « Abbey », « Mystery », « Pepper » et « White ».

Selon les chercheurs, les implications de cette recherche vont au-delà des jeux de mots. Elle constitue un pas en avant vers une meilleure compréhension des capacités de l’IA et de la créativité humaine.

« Ce travail ne consiste pas seulement à générer des puzzles », a déclaré Togelius. « Il s’agit d’utiliser l’IA pour tester et affiner nos théories sur ce qui fait un bon puzzle en premier lieu. Les connexions sont un domaine de recherche intéressant car ce qui fait un bon jeu n’est pas facile à définir. Nous pouvons affiner notre compréhension de la conception de jeux en créant des théories sur ce qui fait un bon jeu, les mettre en œuvre dans des algorithmes et voir si les jeux générés par ces algorithmes sont réellement bons. »

Cette étude récente s'appuie sur les recherches en cours du Game Innovation Lab sur l'IA et les connexions. Dans une étude publiée plus tôt cette année, les chercheurs du laboratoire ont évalué la capacité de divers modèles d'IA à résoudre des énigmes de type Connections. Leurs résultats ont révélé que même si GPT-4 surpassait les autres modèles, il ne parvenait toujours pas à maîtriser le jeu, résolvant avec succès qu'environ 29 % des énigmes présentées.