Des groupes d’agents de l’IA forment spontanément leurs propres normes sociales sans aide humaine, suggère l’étude

Une nouvelle étude suggère que les populations d’agents d’intelligence artificielle (IA), similaires à Chatgpt, peuvent développer spontanément les conventions sociales partagées par l’interaction seule.

Les recherches de City St George’s, Université de Londres et de l’Université informatique de Copenhague suggèrent que lorsque ces agents de l’intelligence artificielle (IA) du modèle de grande langue (LLM) communiquent en groupes, ils ne suivent pas seulement les scripts ou les modèles de répétition, mais l’auto-organisation, atteignant un consensus sur les normes linguistiques, tout comme les communautés humaines.

L’étude, «Émergent Conventions sociales et biais collective dans les populations de LLM», est publié dans la revue Avances scientifiques.

Les LLM sont de puissants algorithmes d’apprentissage en profondeur qui peuvent comprendre et générer un langage humain, le plus célèbre à ce jour étant le chatppt.

« La plupart des recherches ont jusqu’à présent traité les LLM de manière isolée », a déclaré l’auteur principal Ariel Flint Ashery, chercheur doctoral chez City St George’s, « mais les systèmes d’IA du monde réel impliqueront de plus en plus de nombreux agents en interaction. Nous voulions savoir: ces modèles peuvent-ils coordonner leur comportement en formant des conventions, les éléments constitutifs d’une société? La réponse est peut-être oui, et ce qu’elles font ensemble ne peut pas être réduite, ce qu’elles font seuls.

Dans l’étude, les chercheurs ont adapté un cadre classique pour étudier les conventions sociales chez l’homme, sur la base du modèle de formation de congrès du « jeu de dénomination ».

Dans leurs expériences, des groupes d’agents LLM variaient de 24 à 200 individus, et dans chaque expérience, deux agents LLM ont été appariés au hasard et ont demandé à sélectionner un « nom » (par exemple, une lettre d’alphabet ou une chaîne aléatoire de caractères) à partir d’un pool d’options partagé. Si les deux agents ont sélectionné le même nom, ils ont obtenu une récompense; Sinon, ils ont reçu une pénalité et ont été montrés les choix de chacun.

Les agents n’avaient accès qu’à un souvenir limité de leurs propres interactions récentes – pas de la pleine population – et on ne lui a pas dit qu’ils faisaient partie d’un groupe. Au cours de nombreuses ces interactions, une convention de dénomination partagée pourrait émerger spontanément à travers la population, sans aucune coordination centrale ni solution prédéfinie, imitant la forme de normes de manière ascendante dans les cultures humaines.

Encore plus frappant, l’équipe a observé des biais collectifs qui ne pouvaient pas être retracés à des agents individuels.

« Le biais ne vient pas toujours de l’intérieur », a expliqué Andrea Baronchelli, professeur de science de la complexité à City St George’s et auteur principal de l’étude. « Nous avons été surpris de voir qu’il peut émerger entre les agents – juste de leurs interactions. Il s’agit d’un angle mort dans la plupart des travaux de sécurité de l’IA, qui se concentre sur des modèles uniques. »

Dans une dernière expérience, l’étude a illustré comment ces normes émergentes peuvent être fragiles: de petits groupes engagés d’agents d’IA peuvent faire pencher l’ensemble du groupe vers une nouvelle convention de dénomination, faisant écho à des effets de point de basculement bien connues – ou à la «masse critique» – dans les sociétés humaines.

Les résultats de l’étude ont également été robustes dans l’utilisation de quatre types différents de LLM, appelés LLAMA-2-70B-CHAT, LLAMA-3-70B-INSTRUCT, LLAMA-3.1-70Binstruct et Claude-3.5-Sonnet.

Au fur et à mesure que les LLM commencent à peupler les environnements en ligne – des médias sociaux aux véhicules autonomes – les chercheurs envisagent leur travail comme un tremplin pour explorer davantage comment les raisonnements humains et AI convergent et divergent, dans le but d’aider à lutter contre certains des dangers éthiques les plus pressants posés par les groupes de propagation de LLM AIS.

Le professeur Baronchelli a ajouté: « Cette étude ouvre un nouvel horizon pour la recherche sur la sécurité de l’IA. Elle montre la profondeur des implications de cette nouvelle espèce d’agents qui ont commencé à interagir avec nous – et co-shape notre avenir. Comprendre comment ils fonctionnent est la clé pour diriger notre coexistence avec AI, plutôt que d’être soumis à celle-ci. comportements, tout comme nous. «