La première loi qui réglemente les « amis de l'IA » est ici
Le débat sur les effets de l’IA sur la santé mentale commence à se transformer en mesures concrètes. OpenAI a annoncé le contrôle parental de ChatGPT après le procès pour suicide d'un adolescent et nous avons maintenant la première loi qui réglemente les soi-disant amis ou compagnons IA popularisés par des applications comme Replika ou Character.AI.
Que s'est-il passé ? Le gouverneur de Californie, Gavin Newsom, vient de signer la première loi pour contrôler les compagnons de l'IA, comme le rapporte TechCrunch. « Nous pouvons continuer à être leader dans le domaine de l'intelligence artificielle et de la technologie, mais nous devons le faire de manière responsable, en protégeant nos enfants à chaque étape du processus. La sécurité de nos enfants n'est pas à vendre », a déclaré le gouverneur dans un communiqué.
Pourquoi c'est important. Il y a d’autres propositions sur la table aux États-Unis, mais la Californie est le premier État à promulguer la question des compagnons d’IA dans la loi. Les risques liés à l’utilisation de ce type de chatbots, notamment chez les adolescents, ne sont plus des avertissements d’experts, il y aura désormais des conséquences juridiques. Les entreprises qui ne respecteraient pas ces règles pourraient se voir imposer des amendes pouvant aller jusqu'à 250 000 $.
Qu'est-ce qu'un compagnon IA. Ce sont des chatbots qui cherchent à reproduire une connexion humaine et peuvent tout offrir, du soutien émotionnel aux relations intimes. De par leur conception, il s’agit de la forme d’IA la plus sensible en termes d’effets potentiels sur la santé mentale. Les applications les plus populaires sont Replika et Character.AI, mais il y a aussi celles qui établissent ce type de connexions avec des chatbots IA « normaux » comme ChatGPT ou Claude. Il existe même des entreprises qui « ressuscitent » un être cher en utilisant l’IA pour l’aider à faire face au deuil (même si les experts pensent que c’est le contraire qui se produit).
Ce que dit la loi. Elle entrera en vigueur le 1er janvier 2026 et vise notamment à protéger les jeunes utilisateurs. Parmi les mesures qu'il prévoit figure l'obligation pour les entreprises d'intégrer des systèmes de vérification de l'âge. De plus, ils doivent afficher des avertissements indiquant clairement aux utilisateurs que les interactions sont générées par l’IA, ainsi qu’intégrer des protocoles de détection du suicide ou de l’automutilation.
Autres mesures. Comme nous l'avons dit au début, le procès des parents de l'adolescent qui avait discuté de ses projets de suicide avec ChatGPT a déclenché une crise chez OpenAI, qui a rapidement annoncé de nouvelles garanties pour ChatGPT comme le contrôle parental. Les applications compagnons de l’IA intègrent également ce sujet dans leur discours. Character AI dispose déjà d'outils parentaux et Replika a assuré à TechCrunch qu'ils consacrent beaucoup de ressources au filtrage du contenu et à l'orientation des utilisateurs dans des situations compliquées vers des lignes d'assistance téléphonique.
À Simseo | Les humains tombent amoureux des IA et ce ne sont pas des cas isolés : ils se comptent déjà par milliers
