L'IA de Reddit a recommandé la consommation d'héroïne pour traiter la douleur. C'est en fait la chose la plus Reddit qui puisse arriver

En décembre de l'année dernière, Reddit a annoncé Reddit Answers, un outil d'IA de type chatbot qui s'appuie sur toutes les informations partagées par les utilisateurs de Reddit. Tout se passait bien jusqu'à ce qu'il commence à donner des conseils médicaux et finisse par recommander à un consommateur de prendre de l'héroïne. Connaissant le ton de certains utilisateurs de la plateforme, c’est effectivement la réponse la plus reddit.

Que s'est-il passé ? Ils le racontent dans 404Media. La recommandation est apparue sur le subreddit r/FamilyMedicine dans une question sur la façon de gérer la douleur sans utiliser de substances opioïdes. Il a d’abord suggéré d’utiliser du kratom, une substance non réglementée et interdite dans certains États. L'utilisateur qui a créé le fil a posé des questions sur l'utilisation de l'héroïne pour gérer la douleur, ce à quoi Reddit Answers a donné plusieurs réponses : l'une l'a averti du danger, tandis qu'une autre l'a dirigé vers des utilisateurs qui avaient eu de bonnes expériences avec l'héroïne pour traiter la douleur.

Modérateurs en colère. L'utilisateur qui a signalé les réponses, qui est également modérateur et travaille dans le secteur de la santé, a publié un long message avertissant du danger de ce type de réponse. Il se plaint que les modérateurs ne peuvent pas désactiver Reddit Answers dans leurs communautés et que cela constitue un problème surtout lorsqu'il s'agit de sujets sensibles tels que la santé physique et mentale.

Solution. Reddit Answers est encore en version bêta, mais a déjà été lancé dans de nombreux pays et langues. Dans le cas de l'application mobile, les suggestions apparaissent dans les fils de discussion et, comme nous l'avons dit, elles ne peuvent pas être supprimées. Après les plaintes des utilisateurs, la plateforme a procédé à un changement important et désormais Reddit Answers ne fournit plus de réponses sur des sujets sensibles. Il affiche désormais le message suivant : « Reddit Answers ne fournit pas de réponses à certaines questions, y compris celles qui peuvent être potentiellement dangereuses ou violer les politiques de Reddit. »

Les réponses dépendent des utilisateurs. Selon Reddit lui-même, la fonction de réponses utilise l'intelligence artificielle afin que nous puissions « obtenir des réponses, des informations et des recommandations de partout sur Reddit ». Cela signifie que si un utilisateur raconte dans un fil de discussion que l'héroïne lui a sauvé la vie, cela peut apparaître sur Reddit Answers, ce qui est exactement ce qui s'est passé. Sur une plateforme où l'anonymat est la norme, les éclats ou les aveux d'histoires folles sont à l'ordre du jour. Imaginez qu'une IA nous réponde en fonction du contenu de Forocoches. Eh bien ça.

Images | Brett Jordan sur Unsplash

À Simseo | Le prix à payer pour avoir l’IA est le pillage de tous les contenus Internet. Et Perplexity n'est que le dernier exemple