La startup Character.AI va interdire le chat direct aux mineurs après le suicide d'un adolescent
La startup Character.AI a annoncé mercredi qu'elle éliminerait les capacités de chat pour les utilisateurs de moins de 18 ans, un changement de politique qui fait suite au suicide d'un jeune de 14 ans devenu émotionnellement attaché à l'un de ses chatbots IA.
La société a déclaré qu'elle ferait passer les jeunes utilisateurs à des fonctionnalités créatives alternatives telles que la création de vidéos, d'histoires et de flux avec des personnages IA, tout en maintenant une interdiction totale des conversations directes qui débutera le 25 novembre.
La plateforme imposera des limites de temps de discussion quotidiennes de deux heures pour les utilisateurs mineurs pendant la période de transition, avec des restrictions se resserrant progressivement jusqu'à la date limite de novembre.
« Il s'agit de mesures extraordinaires pour notre entreprise et qui, à bien des égards, sont plus conservatrices que nos pairs », a déclaré Character.AI dans un communiqué. « Mais nous pensons que c'est la bonne chose à faire. »
La plateforme Character.AI permet aux utilisateurs, dont beaucoup sont des jeunes, d'interagir avec des personnages bien-aimés en tant qu'amis ou de nouer des relations amoureuses avec eux.
Sewell Setzer III s'est suicidé en février après des mois d'échanges intimes avec un chatbot inspiré de « Game of Thrones » basé sur le personnage de Daenerys Targaryen, selon un procès intenté par sa mère, Megan Garcia.
Character.AI a cité « des reportages récents soulevant des questions » de la part des régulateurs et des experts en sécurité sur l'exposition du contenu et l'impact plus large des interactions ouvertes de l'IA sur les adolescents comme facteurs déterminants derrière sa décision.
Le cas de Setzer était le premier d'une série de suicides signalés liés aux chatbots IA qui ont émergé cette année, incitant le créateur de ChatGPT, OpenAI, et d'autres sociétés d'intelligence artificielle à faire l'objet d'un examen minutieux en matière de sécurité des enfants.
Matthew Raines, un père californien, a intenté une action contre OpenAI en août après le suicide de son fils de 16 ans à la suite de conversations avec ChatGPT qui comprenaient des conseils sur le vol d'alcool et la force d'une corde pour s'automutiler.
OpenAI a publié cette semaine des données suggérant que plus d'un million de personnes utilisant chaque semaine son chatbot génératif d'IA ont exprimé des idées suicidaires.
Depuis, OpenAI a renforcé le contrôle parental pour ChatGPT et introduit d’autres garde-fous. Celles-ci incluent un accès étendu aux lignes d'assistance téléphonique en cas de crise, le réacheminement automatique des conversations sensibles vers des modèles plus sûrs et des rappels discrets aux utilisateurs de prendre des pauses pendant les sessions prolongées.
Dans le cadre de sa refonte, Character.AI a annoncé la création de l'AI Safety Lab, une organisation indépendante à but non lucratif axée sur le développement de protocoles de sécurité pour les fonctionnalités de divertissement IA de nouvelle génération.
Les États-Unis, comme une grande partie du monde, ne disposent pas de réglementations nationales régissant les risques liés à l’IA.
Le gouverneur de Californie, Gavin Newsom, a signé ce mois-ci une loi obligeant les plateformes à rappeler aux utilisateurs qu'ils interagissent avec un chatbot et non avec un humain.
Il a cependant opposé son veto à un projet de loi qui aurait rendu les entreprises technologiques légalement responsables des dommages causés par les modèles d’IA.
