Les décès liés aux chatbots montrent que nous devons de toute urgence revoir ce qui est considéré comme une IA « à haut risque »
La semaine dernière, la tragique nouvelle est tombée : l'adolescent américain Sewell Seltzer III s'est suicidé après avoir développé un profond attachement émotionnel à un chatbot d'intelligence artificielle (IA) sur le site Character.AI.
Alors que sa relation avec son compagnon AI devenait de plus en plus intense, le jeune de 14 ans commença à s'éloigner de sa famille et de ses amis et eut des ennuis à l'école.
Dans un procès intenté contre Character.AI par la mère du garçon, les transcriptions des discussions montrent des conversations intimes et souvent très sexuelles entre Sewell et le chatbot Dany, sur le modèle du personnage de Game of Thrones, Danaerys Targaryen. Ils ont discuté de crime et de suicide, et le chatbot a utilisé des expressions telles que « ce n'est pas une raison pour ne pas aller jusqu'au bout ».
Ce n’est pas le premier cas connu d’une personne vulnérable qui se suicide après avoir interagi avec un chatbot. Un Belge s'est suicidé l'année dernière dans un épisode similaire impliquant le principal concurrent de Character.AI, Chai AI. Lorsque cela s'est produit, l'entreprise a déclaré aux médias qu'elle « travaillait de son mieux pour minimiser les dommages ».
Dans une déclaration à CNN, Character.AI a déclaré qu'ils « prenaient la sécurité de nos utilisateurs très au sérieux » et avaient introduit « de nombreuses nouvelles mesures de sécurité au cours des six derniers mois ».
Dans une déclaration distincte sur le site Web de l'entreprise, ils présentent des mesures de sécurité supplémentaires pour les utilisateurs de moins de 18 ans. (Dans leurs conditions d'utilisation actuelles, la limite d'âge est de 16 ans pour les citoyens de l'Union européenne et de 13 ans ailleurs dans le monde.)
Cependant, ces tragédies illustrent clairement les dangers liés au développement rapide de systèmes d’IA largement disponibles et avec lesquels tout le monde peut converser et interagir. Nous avons besoin de toute urgence d’une réglementation pour protéger les personnes contre les systèmes d’IA potentiellement dangereux et conçus de manière irresponsable.
Comment pouvons-nous réguler l’IA ?
Le gouvernement australien est en train d’élaborer des garde-fous obligatoires pour les systèmes d’IA à haut risque. Terme à la mode dans le monde de la gouvernance de l’IA, les « garde-fous » font référence aux processus de conception, de développement et de déploiement de systèmes d’IA. Celles-ci incluent des mesures telles que la gouvernance des données, la gestion des risques, les tests, la documentation et la surveillance humaine.
L'une des décisions que le gouvernement australien doit prendre est de savoir comment définir quels systèmes sont « à haut risque » et donc capturés par les garde-fous.
Le gouvernement réfléchit également à la question de savoir si des garde-fous devraient s'appliquer à tous les « modèles à usage général ». Les modèles à usage général constituent le moteur des chatbots IA comme Dany : des algorithmes d’IA qui peuvent générer du texte, des images, des vidéos et de la musique à partir des invites des utilisateurs, et qui peuvent être adaptés pour être utilisés dans divers contextes.
Dans la loi révolutionnaire de l'Union européenne sur l'IA, les systèmes à haut risque sont définis à l'aide d'une liste que les régulateurs sont habilités à mettre à jour régulièrement.
Une alternative est une approche fondée sur des principes, dans laquelle une désignation à haut risque se fait au cas par cas. Cela dépendrait de plusieurs facteurs tels que les risques d’impacts négatifs sur les droits, les risques pour la santé physique ou mentale, les risques d’impacts juridiques, ainsi que la gravité et l’étendue de ces risques.
Les chatbots devraient être une IA « à haut risque »
En Europe, les systèmes d’IA compagnons comme Character.AI et Chai ne sont pas désignés comme à haut risque. Essentiellement, leurs fournisseurs doivent uniquement faire savoir aux utilisateurs qu’ils interagissent avec un système d’IA.
Il est cependant devenu clair que les chatbots compagnons ne présentent pas un faible risque. De nombreux utilisateurs de ces applications sont des enfants et des adolescents. Certains systèmes ont même été commercialisés auprès de personnes seules ou souffrant de maladie mentale.
Les chatbots sont capables de générer du contenu imprévisible, inapproprié et manipulateur. Ils imitent trop facilement les relations toxiques. La transparence – qualifier les résultats de produits générés par l’IA – ne suffit pas à gérer ces risques.
Même lorsque nous sommes conscients que nous parlons à des chatbots, les êtres humains sont psychologiquement préparés à attribuer des traits humains à quelque chose avec lequel ils conversent.
Les suicides rapportés dans les médias ne sont peut-être que la pointe de l’iceberg. Nous n’avons aucun moyen de savoir combien de personnes vulnérables entretiennent des relations addictives, toxiques, voire dangereuses avec les chatbots.
Garde-corps et « interrupteur d'arrêt »
Lorsque l’Australie introduira enfin des garde-fous obligatoires pour les systèmes d’IA à haut risque, ce qui pourrait se produire dès l’année prochaine, les garde-fous devraient s’appliquer à la fois aux chatbots compagnons et aux modèles à usage général sur lesquels les chatbots sont construits.
Les garde-fous (gestion des risques, tests, surveillance) seront plus efficaces s’ils atteignent le cœur humain des dangers de l’IA. Les risques liés aux chatbots ne sont pas seulement des risques techniques liés aux solutions techniques.
Outre les mots qu’un chatbot peut utiliser, le contexte du produit compte également. Dans le cas de Character.AI, le marketing promet de « responsabiliser » les gens, l'interface imite un échange de messages texte ordinaire avec une personne et la plate-forme permet aux utilisateurs de choisir parmi une gamme de personnages prédéfinis, qui incluent certains personnages problématiques. .
Des garde-fous véritablement efficaces en matière d’IA devraient exiger plus que de simples processus responsables, comme la gestion des risques et les tests. Ils doivent également exiger une conception réfléchie et humaine des interfaces, des interactions et des relations entre les systèmes d’IA et leurs utilisateurs humains.
Même dans ce cas, les garde-corps ne suffisent peut-être pas. Tout comme les chatbots compagnons, les systèmes qui semblent à première vue présenter un faible risque peuvent causer des dommages imprévus.
Les régulateurs devraient avoir le pouvoir de retirer du marché les systèmes d’IA s’ils causent des dommages ou présentent des risques inacceptables. En d’autres termes, nous n’avons pas seulement besoin de garde-fous pour l’IA à haut risque. Nous avons également besoin d'un interrupteur d'arrêt.