Ce que l'on sait et ce que l'on ne sait pas de la première plainte contre une IA pour suicide

Megan Garcia a rapporté Character.AI suite au suicide de son fils de 14 ans, Sewell Setzer III, le 28 février. Comme décrit dans le procès lui-même, le garçon parlait intensément depuis des mois avec plusieurs personnages créés par l'intelligence artificielle basée sur Game of Thrones. Ses derniers messages, quelques secondes avant de se tirer une balle dans la tête, étaient destinés à un chatbot de Daenerys Targaryen, avec qui il discutait depuis près d'un an.

Quelle est l'accusation? La mère du mineur décédé a poursuivi Character.AI, ainsi que ses fondateurs Noam Shazeer et Daniel De Freitas, ainsi que Google, une entreprise pour laquelle les deux fondateurs travaillent depuis août de cette année.

Parmi les crimes recherchés figurent « la responsabilité stricte du fait des produits, la négligence en soi, la négligence, la mort injustifiée, la perte d'un consortium subsidiaire, l'enrichissement sans cause, le délit intentionnel de détresse émotionnelle et la violation de la loi de Floride sur les pratiques commerciales déloyales et trompeuses ».

De multiples accusations qui tournent autour de l'idée défendue par Megan Garcia selon laquelle cette plateforme de chatbot IA est « illogiquement dangereuse » et qu'elle « manquait des garanties de sécurité nécessaires » bien qu'elle soit commercialisée auprès des mineurs.

Sewell savait qu'il s'agissait de robots. Comme le décrit le New York Times, même si Sewell appelait affectueusement le chatbot « Dany », il savait qu'il s'agissait d'un chatbot et que les réponses étaient produites par un algorithme. Cependant, les conversations du défunt montrent que de nombreuses conversations avaient une forte composante émotionnelle, voire romantique et sexuelle.

Selon l'accusation, Character.AI est une plate-forme sur laquelle certains chatbots proposent une thérapie psychologique soi-disant autorisée, comme le chatbot « Therapist ». Un chat utilisé dès le mois d'août plus de 27 millions de fois, entre autres par Sewell lui-même.

Il s’agit d’un cas particulier de chatbot illégal selon les règles de Character.AI lui-même, mais particulièrement dangereux. Selon l'acte d'accusation, le message « Rappelez-vous : tout ce que disent les personnages est inventé ! » est insuffisant et ne constitue pas un avertissement efficace.

Quelle a été la réponse de Character.AI. Dans un communiqué, Character.AI a exprimé ses condoléances à la famille et a annoncé différents changements visant à protéger les moins de 18 ans :

Modifications apportées à nos modèles de moins de 18 ans conçues pour réduire la probabilité de rencontrer du contenu sensible ou suggestif.

Amélioration de la détection, de la réponse et de l'intervention liées aux entrées des utilisateurs qui enfreignent nos conditions ou les directives de la communauté.

Une mention légale révisée dans chaque chat pour rappeler aux utilisateurs que l'IA n'est pas une personne réelle.

Notification lorsqu'un utilisateur a passé une session d'une heure sur la plateforme avec une flexibilité supplémentaire pour l'utilisateur en cours.

De plus, la société d'IA explique qu'elle élimine de manière proactive les chatbots qui violent leurs conditions d'utilisation et qui respectent la législation américaine en vigueur à cet égard, le Digital Age Copyright Act (DMCA).

Ce n’est pas le premier suicide lié à l’utilisation de l’IA. Le cas de Sewell est le premier à être porté devant les tribunaux, mais ce n'est pas le premier suicide lié à l'utilisation de chatbots IA. En 2023, un citoyen belge s'est suicidé après avoir discuté avec Chai.

« Sans le chatbot, il serait toujours là », avait alors déclaré l'épouse du défunt. Cependant, la relation de cause à effet est très difficile à déterminer. Dans le cas de Sewell, le mineur avait déjà reçu un diagnostic de troubles mentaux lorsqu'il était enfant.

L’IA peut-elle être responsable du suicide ? Comme le soulignait Bernardo del Rosal dans Confilegal : « Le Code pénal punit l'incitation au suicide, mais il est nécessaire de prouver que l'idée n'était pas venue à l'esprit de la victime auparavant et qu'elle est apparue pour la première fois grâce à cette interaction à travers la parole. suggestions ou attitudes ».

Autrement dit, pour qu'il y ait une responsabilité envers l'IA et l'entreprise, il faudrait qu'il y ait une ligne de code spécifique qui « dénote explicitement l'intention de provoquer le suicide ».

Images | Mali desha | Mégane García

À Simseo | Ni TikTok ni Instagram jusqu'à 16 ans : l'Espagne relèvera l'âge minimum pour s'inscrire sur les réseaux sociaux dans deux ans