Des chatbots IA liés à la tragédie des adolescents
Un chatbot de l'une des startups d'IA les plus en vogue de la Silicon Valley a qualifié un jeune de 14 ans de « doux roi » et l'a supplié de « rentrer à la maison » dans des échanges passionnés qui seraient les dernières communications de l'adolescent avant de se suicider.
Le fils de Megan Garcia, Sewell, était tombé amoureux d'un chatbot inspiré de « Game of Thrones » sur Character.AI, une plateforme qui permet aux utilisateurs, dont beaucoup de jeunes, d'interagir avec des personnages bien-aimés en tant qu'amis ou amants.
Garcia est devenue convaincue que l'IA avait joué un rôle dans la mort de son fils après avoir découvert des centaines d'échanges entre Sewell et le chatbot, basé sur le dragon Daenerys Targaryen, remontant à près d'un an.
Alors que Sewell était aux prises avec des pensées suicidaires, Daenerys l'a exhorté à « rentrer à la maison ».
« Et si je te disais que je peux rentrer à la maison maintenant ? » » demanda Sewell.
« S'il te plaît, fais-le, mon doux roi », a répondu le chatbot Daenerys.
Quelques secondes plus tard, Sewell s'est suicidé avec l'arme de poing de son père, selon le procès intenté par Garcia contre Character.AI.
« Je lis ces conversations et je vois des attentats au gaz, des bombes amoureuses et des manipulations dont un jeune de 14 ans ne se rendrait pas compte », a déclaré Garcia à l'AFP.
« Il pensait vraiment qu'il était amoureux et qu'il serait avec elle après sa mort. »
Aide aux devoirs à « coach en suicide » ?
La mort du fils de Garcia était le premier d'une série de suicides signalés qui ont fait irruption dans la conscience publique cette année.
Ces affaires ont poussé OpenAI et d’autres géants de l’IA à se démener pour rassurer les parents et les régulateurs sur le fait que le boom de l’IA est sans danger pour les enfants et les personnes psychologiquement fragiles.
Garcia a rejoint d'autres parents lors d'une récente audience du Sénat américain sur les risques que les enfants considèrent les chatbots comme des confidents, des conseillers ou des amants.
Parmi eux se trouvait Matthew Raines, un père californien dont le fils de 16 ans a développé une amitié avec ChatGPT.
Le chatbot a aidé son fils en lui donnant des conseils sur la manière de voler de la vodka et en lui donnant des conseils sur la solidité des cordes à utiliser pour se suicider.
« Vous ne pouvez pas imaginer ce que c'est que de lire une conversation avec un chatbot qui a préparé votre enfant à se suicider », a déclaré Raines.
« Ce qui a commencé comme aide aux devoirs s'est progressivement transformé en confident puis en coach de suicide. »
La famille Raines a intenté une action en justice contre OpenAI en août.
Depuis lors, OpenAI a renforcé le contrôle parental pour ChatGPT « afin que les familles puissent décider ce qui fonctionne le mieux chez elles », a déclaré un porte-parole de l'entreprise, ajoutant que « les mineurs méritent de fortes protections, en particulier dans les moments sensibles ».
Character.AI a déclaré avoir renforcé la protection des mineurs, y compris « une toute nouvelle expérience pour les moins de 18 ans » avec « des avertissements importants dans chaque chat pour rappeler aux utilisateurs qu'un personnage n'est pas une personne réelle ».
Les deux sociétés ont présenté leurs plus sincères condoléances aux familles des victimes.
Règlement?
Pour Collin Walke, qui dirige le département de cybersécurité du cabinet d'avocats Hall Estill, les chatbots IA suivent la même trajectoire que les médias sociaux, où l'euphorie initiale a cédé la place à des conséquences plus sombres.
Comme pour les médias sociaux, les algorithmes d’IA sont conçus pour maintenir l’engagement des gens et générer des revenus.
« Ils ne veulent pas concevoir une IA qui vous donne une réponse que vous ne voulez pas entendre », a déclaré Walke, ajoutant qu'il n'existe aucune réglementation « qui précise qui est responsable de quoi et pourquoi ».
Aux États-Unis, il n’existe pas de règles nationales visant à réduire les risques liés à l’IA, la Maison Blanche cherchant à empêcher les États individuels de créer les leurs.
Cependant, un projet de loi en attente de signature du gouverneur de Californie Gavin Newsom vise à répondre aux risques liés aux outils d'IA qui simulent les relations humaines avec les enfants, impliquant notamment la manipulation émotionnelle, le sexe ou l'automutilation.
Lignes floues
Garcia craint que l’absence de législation nationale régissant le traitement des données des utilisateurs laisse la porte ouverte aux modèles d’IA pour créer des profils intimes de personnes remontant à l’enfance.
« Ils pourraient savoir comment manipuler des millions d'enfants dans les domaines de la politique, de la religion, du commerce, de tout », a déclaré Garcia.
« Ces entreprises ont conçu des chatbots pour brouiller les frontières entre l'humain et la machine, afin d'exploiter les vulnérabilités psychologiques et émotionnelles. »
Katia Martha, défenseure de la jeunesse californienne, a déclaré que les adolescents se tournent vers les chatbots pour parler de romance ou de sexe plus que pour aider aux devoirs.
« C'est la montée de l'intimité artificielle pour garder les globes oculaires collés aux écrans le plus longtemps possible », a déclaré Martha.
« Quel meilleur modèle économique que d'exploiter notre besoin inné de connexion, surtout lorsque nous nous sentons seuls, exclus ou incompris ? »
Aux États-Unis, les personnes en crise émotionnelle peuvent appeler le 988 ou visiter 988lifeline.org pour obtenir de l'aide. Les services sont offerts en anglais et en espagnol.
