Oubliez les chatbots, c'est ainsi que les entreprises américaines utilisent vraiment l'IA

Les chercheurs disent que les capacités émergentes de l’IA ne sont qu’un « mirage »

Les ensembles de données utilisés pour entraîner les algorithmes d’IA peuvent sous-représenter les personnes âgées. Crédit : Pixabay/CC0 Domaine public

Il semble qu’il n’y ait pas de fin aux prédictions de nuages ​​​​d’orage lorsque les ordinateurs décident finalement de prendre les choses en main (ou devrions-nous dire, leurs propres processeurs).

« Le développement de l’intelligence artificielle pourrait signifier la fin de la race humaine », a averti Stephen Hawking.

« [AI] me fait peur. Il est capable de bien plus que presque tout le monde sait, et le taux d’amélioration est exponentiel », a déclaré le cofondateur d’OpenAI, Elon Musk.

Les technologies de l’IA présentent « des risques profonds pour la société et l’humanité », selon une lettre signée plus tôt cette année par plus de 1 000 leaders technologiques appelant à un moratoire sur la recherche sur l’IA jusqu’à ce que l’on en sache plus sur les risques potentiels.

« Nous devons être très prudents », a déclaré Yoshua Bengio, professeur et chercheur en intelligence artificielle à l’Université de Montréal.

Sans négliger la promesse d’énormes bienfaits que l’IA apportera à un large éventail de secteurs de l’industrie, de l’économie, de l’éducation, de la science, de l’agriculture, de la médecine et de la recherche, les médias sonnent de plus en plus l’alarme sur les conséquences imprévues de cette technologie perturbatrice en plein essor.

Un domaine de préoccupation est le comportement émergent, défini comme une série d’interactions imprévues et non programmées au sein d’un système résultant de comportements programmés plus simples par des parties individuelles.

Les chercheurs affirment que des preuves d’un tel comportement sont observées dans des modèles qui apprennent des langues par eux-mêmes, lorsque des systèmes entraînés à jouer aux échecs et au go génèrent des stratégies originales pour progresser, ou lorsque des robots présentent une variabilité dans des schémas de mouvement qui n’étaient pas programmés à l’origine.

« Bien que j’essaie de m’attendre à des surprises, je suis surpris de ce que ces modèles peuvent faire », a déclaré l’informaticien de Google Ethan Dyer, en réponse à une expérience d’IA dans laquelle un ordinateur a déduit de manière inattendue le titre d’un film basé sur une chaîne. des émojis.

Mais Dyer lui-même pourrait être surpris d’apprendre qu’une équipe de recherche de l’Université de Stanford jette de l’eau froide sur les rapports de comportement émergent.

Ryan Schaeffer, Brando Miranda et Sanmi Koyejo ont déclaré dans un article publié la semaine dernière que les preuves de comportements émergents sont basées sur des statistiques qui ont probablement été mal interprétées.

« Notre message est que les capacités émergentes précédemment revendiquées … pourraient probablement être un mirage induit par les analyses des chercheurs », ont-ils déclaré.

Dans leur article publié sur le arXiv serveur de prépublication, les chercheurs ont expliqué que les capacités des grands modèles de langage sont mesurées en déterminant le pourcentage de ses prédictions correctes.

Les analyses statistiques peuvent être représentées de nombreuses façons. Les chercheurs soutiennent que lorsque les résultats sont rapportés dans des mesures non linéaires ou discontinues, ils semblent montrer des changements nets et imprévisibles qui sont interprétés à tort comme des indicateurs de comportement émergent.

Cependant, un autre moyen de mesurer les données identiques à l’aide de métriques linéaires montre des changements « lisses et continus » qui, contrairement à l’ancienne mesure, révèlent un comportement prévisible – non émergent.

L’équipe de Stanford a ajouté que le fait de ne pas utiliser des échantillons suffisamment grands contribue également à des conclusions erronées.

« Les revendications existantes de capacités émergentes sont des créations des analyses du chercheur, et non des changements fondamentaux dans le comportement du modèle sur des tâches spécifiques », a déclaré l’équipe.

Ils ont ajouté que bien que la méthodologie des recherches antérieures ait probablement donné des conclusions trompeuses, « rien dans cet article ne doit être interprété comme affirmant que les grands modèles de langage ne peuvent pas afficher de capacités émergentes », suggérant qu’une méthodologie appropriée pourrait bien révéler de telles capacités.

« Le principal point à retenir », ont déclaré les chercheurs, « est pour une tâche fixe et une famille de modèles fixes, le chercheur peut choisir une métrique pour créer une capacité émergente ou choisir une métrique pour supprimer une capacité émergente. »

Ou, comme l’a déclaré un commentateur notable, « la sortie de l’algorithme n’est aussi bonne que les paramètres que ses créateurs ont définis, ce qui signifie qu’il y a de la place pour un biais potentiel au sein de l’IA elle-même. »

Et qui était ce commentateur remarquable ? ChatGPT de Microsoft Bing.