Les images raciales erronées de l'IA de Gemini sont considérées comme un avertissement sur le pouvoir des titans de la technologie

Pour les participants à ce festival technologique avant-gardiste, le scandale qui a éclaté après que le chatbot Gemini de Google ait diffusé des images de soldats nazis noirs et asiatiques a été considéré comme un avertissement sur le pouvoir que l'intelligence artificielle peut donner aux titans de la technologie.

Le PDG de Google, Sundar Pichai, a qualifié le mois dernier d'erreurs « totalement inacceptables » commises par l'application Gemini AI de son entreprise, après que des gaffes telles que les images de troupes nazies d'origines ethniques diverses l'ont forcé à empêcher temporairement les utilisateurs de créer des photos de personnes.

Les utilisateurs des réseaux sociaux se sont moqués et ont critiqué Google pour les images historiquement inexactes, comme celles montrant une sénatrice américaine noire des années 1800, lorsque le premier sénateur de ce type n'a été élu qu'en 1992.

« Nous avons définitivement raté la génération d'images », a déclaré le co-fondateur de Google, Sergey Brin, lors d'un récent « hackathon » sur l'IA, ajoutant que la société aurait dû tester Gemini de manière plus approfondie.

Des personnes interrogées lors du populaire festival d'art et de technologie South by Southwest à Austin ont déclaré que la chute de Gemini mettait en évidence le pouvoir démesuré d'une poignée d'entreprises sur les plates-formes d'intelligence artificielle qui sont sur le point de changer la façon dont les gens vivent et travaillent.

« Essentiellement, c'était trop 'réveillé' », a déclaré Joshua Weaver, avocat et entrepreneur en technologie, ce qui signifie que Google est allé trop loin dans ses efforts pour projeter l'inclusion et la diversité.

Google a rapidement corrigé ses erreurs, mais le problème sous-jacent demeure, a déclaré Charlie Burgoyne, directeur général du laboratoire de sciences appliquées Valkyrie au Texas.

Il a assimilé la solution Google Gemini à l'application d'un pansement sur une blessure par balle.

Alors que Google a longtemps eu le luxe d'avoir le temps d'affiner ses produits, il se lance désormais dans une course à l'IA avec Microsoft, OpenAI, Anthropic et d'autres, a noté Weaver, ajoutant : « Ils avancent plus vite qu'ils ne savent comment avancer ».

Les erreurs commises dans un effort de sensibilité culturelle sont des points chauds, en particulier compte tenu des divisions politiques tendues aux États-Unis, une situation exacerbée par la plateforme X d'Elon Musk, l'ancien Twitter.

« Les gens sur Twitter sont très heureux de célébrer toute chose embarrassante qui se produit dans le domaine de la technologie », a déclaré Weaver, ajoutant que la réaction à la gaffe nazie était « exagérée ».

Cet incident a toutefois remis en question le degré de contrôle qu’exercent les utilisateurs des outils d’IA sur l’information, a-t-il soutenu.

Au cours de la prochaine décennie, la quantité d’informations – ou de désinformations – créées par l’IA pourrait éclipser celle générée par les humains, ce qui signifie que ceux qui contrôlent les mesures de protection de l’IA auront une énorme influence sur le monde, a déclaré Weaver.

Biais entrant, biais sortant

Karen Palmer, une créatrice primée de réalité mixte chez Interactive Films Ltd., a déclaré qu'elle pourrait imaginer un avenir dans lequel quelqu'un monterait dans un robot-taxi et, « si l'IA vous scanne et pense qu'il y a des violations persistantes à votre encontre … vous serez emmené au commissariat de police local », ce qui n'est pas votre destination prévue.

L’IA est formée sur des montagnes de données et peut être utilisée sur un éventail croissant de tâches, depuis la génération d’images ou de sons jusqu’à déterminer qui obtient un prêt ou si une analyse médicale détecte un cancer.

Mais ces données proviennent d’un monde en proie à des préjugés culturels, à la désinformation et aux inégalités sociales – sans parler du contenu en ligne qui peut inclure des discussions informelles entre amis ou des publications intentionnellement exagérées et provocatrices – et les modèles d’IA peuvent faire écho à ces défauts.

Avec Gemini, les ingénieurs de Google ont tenté de rééquilibrer les algorithmes pour fournir des résultats reflétant mieux la diversité humaine.

L’effort s’est retourné contre lui.

« Il peut être vraiment délicat, nuancé et subtil de déterminer où se situent les préjugés et comment ils sont inclus », a déclaré l'avocat spécialisé en technologie Alex Shahrestani, associé directeur du cabinet d'avocats Promise Legal pour les entreprises technologiques.

Même les ingénieurs bien intentionnés impliqués dans la formation à l’IA ne peuvent s’empêcher d’apporter leur propre expérience de vie et leurs préjugés subconscients au processus, pensent lui et d’autres.

Burgoyne de Valkyrie a également fustigé les grandes technologies pour avoir gardé le fonctionnement interne de l'IA générative caché dans des « boîtes noires », afin que les utilisateurs soient incapables de détecter des biais cachés.

« Les capacités des résultats ont largement dépassé notre compréhension de la méthodologie », a-t-il déclaré.

Experts et militants réclament plus de diversité dans les équipes créant l'IA et les outils associés, ainsi qu'une plus grande transparence sur leur fonctionnement, en particulier lorsque les algorithmes réécrivent les demandes des utilisateurs pour « améliorer » les résultats.

Le défi est de savoir comment intégrer de manière appropriée les perspectives des communautés nombreuses et diverses du monde, ont déclaré ici Jason Lewis du Centre de ressources sur l'avenir autochtone et des groupes associés.

Chez Indigenous AI, Jason travaille avec des communautés autochtones éloignées pour concevoir des algorithmes qui utilisent leurs données de manière éthique tout en reflétant leurs perspectives sur le monde, ce qu'il ne voit pas toujours dans « l'arrogance » des grands leaders technologiques.

Son propre travail, a-t-il déclaré à un groupe, contraste « tellement avec la rhétorique de la Silicon Valley, où il y a une connerie descendante du type « Oh, nous faisons cela parce que nous allons bénéficier à toute l'humanité », n'est-ce pas ?

Son public a ri.