L'IA de Google mélange des espèces de champignons pour répondre aux recherches des utilisateurs. C'est dangereux

Au cours de l'été 2023, quelque chose est arrivé à « La Fille à la perle ». Au moins sur Google. Si quelqu’un recherchait cette image dans ce moteur de recherche, il obtiendrait une image générée par l’IA comme résultat présenté. L’erreur, notoire et notable, semble avoir été corrigée.

Mais il y en a au moins un autre peut-être plus inquiétant. Il a été découvert par le modérateur du subreddit r/mycology, qui a détecté que lors de la recherche d'une espèce de champignon – en particulier le « coprinus comatus », également connu en Espagne sous le nom de « champignon barbu » ou « champignon à encre » – il apparaissait en premier. terme non pas la photo réelle de ce champignon, mais une image générée par l'IA. Et cela n’avait pas grand-chose à voir, en fait.

Chez Simseo nous venons de faire le test et effectivement l'image présentée est une image générée par l'IA dans les résultats de recherche. Le modérateur, sous le pseudo MycoMutant, a détecté que l'image n'avait même pas été générée par Google : le moteur de recherche l'avait simplement affichée en récoltant l'image de Freepik, où l'image est clairement identifiée comme générée par l'IA.

MycoMutant a indiqué dans 404Media comment il voyait depuis un certain temps comment la même chose s'était produite chez certaines espèces de champignons. Il aide les autres utilisateurs à identifier correctement les champignons et évite ainsi les informations dangereuses sur les espèces qui peuvent être consommées et celles qui ne le peuvent pas.

Le problème, comme l'a commenté cet utilisateur, est que lorsque Google utilise ces images incorrectes dans les recherches, la « réputation » de ces images augmente: d'autres robots peuvent « faire confiance » à Google et finir par diffuser ces images avec des informations qui peuvent être dangereuses.

Il a ajouté : « À plus d'une occasion, j'ai vu des gens essayer d'utiliser des robots pour collecter des données à partir d'une base de données sur les espèces de champignons et les résultats ont été horriblement inexacts et potentiellement pleins d'informations dangereusement erronées. »

D’autres experts ont indiqué dans cet article comment les images générées par l’IA, même si elles se rapprochent de la réalité, peuvent avoir des conséquences terribles. Pour Elan Trybuuch, secrétaire de la New York Mycological Society, Google ne devrait pas seulement marquer ces images comme générées par l'IA : il devrait les supprimer complètement.

Il s'agit d'un nouvel exemple de la façon dont ces types d'erreurs dans les textes et les images – et à l'avenir, dans les vidéos – générées par l'IA. peut avoir des conséquences néfastes pour les utilisateurs. La rapidité avec laquelle Internet se remplit de contenus générés par l’IA ne permet pas de faire face facilement à ce problème.

Il est vrai, bien sûr, qu'au moins dans le cas des chatbots textuels, les choses s'améliorent, à la fois grâce aux versions les plus récentes, qui font moins d'erreurs, et grâce aux modèles capables de « raisonner » comme o1 ou le récent un Gemini 2.0 Flash Thinking, qui vérifie également vos réponses avant de les présenter à l'utilisateur.

Images | Wikipédia | Google