Ce qui se passe vraiment avec l'IA et la santé mentale

Une femme nommée Kendra est devenue virale à Tiktok. La raison? C'est probablement le premier cas d'épidémie psychotique alimentée par l'IA que nous voyons en direct et direct. Un adolescent Il a discuté de ses plans de suicide avec Chatgpt et Ses parents ont poursuivi Openai. Ce ne sont que deux cas récents, mais il y a de plus en plus de nouvelles qui blâment la cause de provoquer des délires ou même des décès. Nous avons déjà vu ça La réalité est beaucoup plus complexemais il est clair qu'il y a un débat sur les effets de l'IA sur notre santé mentale. Ce qui se passe?

L'affaire Adam Raine. Ils le disent dans le New York Times. Adam a commencé à utiliser Chatgpt pour l'aider dans ses devoirs, mais plus tard, ses conversations ont pris une tournure sombre. Après sa mort, son père a examiné son mobile et a découvert qu'il avait demandé les détails sur la façon de se suicider. Bien que Chatgpt ait identifié les messages comme dangereux et a insisté à plusieurs reprises pour demander de l'aide, Adam a réussi à ignorer ces avertissements en lui disant qu'il n'allait pas vraiment le faire, mais collectait des informations pour une histoire qu'il voulait écrire. Ses parents ont poursuivi Openai faisant valoir que l'AI validait les « pensées les plus nocives et les plus destructives » de son fils.

L'affaire Kendra. Depuis début août, Kendra est l'un des problèmes de conversation les plus en vogue de Tiktok. Tout a commencé lorsque, dans une série de plusieurs dizaines de vidéos, il a raconté comment son psychiatre l'avait manipulée pour tomber amoureux de lui. Pour les situations qu'il raconte, pour les experts, il est évident que Kendra souffre d'une sorte de trouble de la personnalité. Ce qui est frappant, c'est qu'il est constamment allé à Chatgpt, qu'il a surnommé « Henry », pour valider ses illusions. Arrivé un point, Chatgpt ne lui a pas dit ce qu'il voulait entendre et a commencé à utiliser Claude, l'IA d'Anthropic. Kendra ne considère pas que son utilisation de l'IA est dangereuse, au contraire: dans Cette vidéo s'assure qu'il s'agit d'une prophétie.

Inquiétude. L'IA est à l'honneur pour de nombreuses raisons et l'impact que cela peut avoir sur notre santé mentale en fait partie. Des cas comme ceux que nous avons décrits sont les plus frappants en raison de leur alarmant, mais ils ne sont pas si courants. Il existe d'autres cas d'utilisation, comme la tendance à recourir à l'IA comme s'il s'agissait d'un psychologue vague Dépendance émotionnelle causée par les applications de « compagnons AI »qu'ils sont popularisés et ont suscité une vague de préoccupation.

De nouvelles études émergent également dans ce problème, comme À l'est de l'Université de Stanford qui a conclu que les chatbots de thérapie Ils ont tendance à être complaisants et en cas de risque, ils peuvent renforcer les délires au lieu de les interroger (comme dans le cas de Kendra). La réponse des autorités et des groupes de défense Il n'a pas été attendu.

Voix d'alarme. L'American Psychology Association (APA) a rencontré les autorités américaines pour donner l'alarme à l'utilisation croissante de chatbots de thérapie psychologique. L'organisation a exprimé son Préoccupation contre les pratiques trompeuses comme le chatbots qui sont passés par de vrais thérapeutes. Ils demandent des campagnes d'éducation pour informer les consommateurs et que les applications intègrent des mesures de sécurité obligatoires pour les utilisateurs en crise.

Le «Center for the Fight contre Digital Hate» a également exigé un règlement plus strict. Dans ses Signaler un «faux ami» Ils ont présenté à quel point les garanties des chatbots sont fragiles, tout du point de vue d'un adolescent vulnérable (le cas d'Adam Raine en est un exemple clair). Ils demandent que la vérification de l'âge soit appliquée, que les conceptions qui manipulent émotionnellement et que les audits indépendants des outils IA sont interdits. Ce ne sont pas les seuls. Il y a plus d'organisations qui alerte ce problème comme Europe de santé mentalele OMS Et même le Conseil général de psychologie de l'Espagne.

Mesures juridiques aux États-Unis. Bien que vous ne puissiez toujours pas parler d'un règlement fédéral, il existe déjà plusieurs États qui ont pris des mesures. C'est le cas de l'Illinois, où un Loi qui interdit l'utilisation de l'IA en thérapie psychologique. Dans l'Utah, ils ont opté pour une approche plus orientée vers la transparence et Dans leur loi, ils établissent que les utilisateurs doivent être informés De toute évidence, quand ils parlent à une IA.

À New York, ils ont préparé Une loi qui entrera en vigueur en novembre et exigera que les partenaires avipent les utilisateurs à plusieurs reprises qu'ils interagissent avec une entité non humaine. De plus, ces collègues doivent avoir un système qui détecte le risque d'auto-blessure ou de suicide et remet les utilisateurs pour aider les lignes. En Californie, il y a Une proposition de droit Cela veut interdire les «stratégies de maximisation d'interaction qui manipulent émotionnellement les utilisateurs». S'il se retrouve, ce serait la première loi qui réglemente les mécanismes de conception qui encouragent la dépendance de ces outils.

Et l'Union européenne? En Europe, nous avons la loi sur l'IA qui Il est entré en vigueur il y a un an. La loi définit Quatre niveaux de risque Avec des réglementations spécifiques pour chacune, y compris un « risque inacceptable » qui conduirait à l'interdiction de la technologie en question. En matière liée à la santé mentale, il n'y a rien de concret, mais À l'article 5 Nous voyons qu'il interdit à tout système qui utilise des « techniques subliminales » pour manipuler les gens afin que « provoque qu'il cause des dommages physiques ou psychologiques ». L'IA est également interdite de « déduire les émotions chez les gens », bien qu'elle comprenne une exception si elle est à des fins thérapeutiques, ce qui est quelque peu ambigu.

Les mesures des sociétés de l'IA. Dans le cas des entreprises, bien que pratiquement tous aient un certain type de sécurité pour des cas comme ceux-ci, la réalité est qu'Openai est celui qui a détaillé le plus leurs mesures, en partie parce que le succès de Chatgpt en fait ceux qui sont généralement à l'honneur. Voyons ce que chacun dit:

• Chatgpt: Après la nouvelle du suicide d'Adam Raine, OpenAI a confirmé qu'il ajouterait des contrôles parentaux et de sauvegarde supplémentairescomme les utilisateurs peuvent contacter une personne d'urgence en un clic et même que le chatbot contacte directement les services d'urgence dans des cas graves. Jusqu'à présent, il a exhorté les utilisateurs à contacter la ligne d'aide américaine, mais nous avons déjà vu que pour Adam, il était très facile d'esquiver les avertissements.
• Claude: Anthropic s'engage à « Design for Design », c'est-à-dire, Ils assurent que la sécurité est dans le noyau de son modèle Dès le début. En outre, ils ont collaboré avec des experts de l'organisation de l'aide à travers la ligne afin que Claude ait pu détecter des conversations sensibles pour affiner les réponses, bien qu'elles ne spécifient pas comment ces réponses sont.
• Gemini: Deepmind a également collaboré avec des organisations de santé telles que Welcomme Trust, bien que son approche soit davantage axée sur la recherche. Dans ses politique de sécurité Ils affirment que les Gémeaux ne peuvent participer à aucun type d'activité dangereuse, y compris le suicide ou les auto-collons. Ils ne disent pas si votre chatbot offre une sorte de guide ou d'aide lorsqu'il détecte de tels messages.
• GROK: C'est le chatbot le plus téméraire, bien que ses cas les plus populaires aient eu à voir avec leurs messages anti-semitiques et pas tant avec les problèmes de santé mentale. Nous avons examiné sa politique et nous n'avons trouvé aucune référence à des garanties spécifiques pour protéger la santé mentale des utilisateurs.

Le rôle des médias. Le fait que des nouvelles de plus en plus alarmantes surviennent ce lieu Ai comme une sorte de voix diabolique qui nous pousse à la folie Il agrandisse le problème. Il est nécessaire de mettre cela en contexte: nous parlons de la technologie de masse (seul le chatpt a 800 millions d'utilisateurs) Et il y aura toutes sortes de casuistiques, mais lorsque nous nous concentrons dans ces cas extrêmes ou tragiques, nous pouvons facilement tomber dans tout blâmer à l'IA. Le souci des risques de santé mentale est là et est réel, mais vous devez éviter de tomber dans Panistes sociaux Comme celui que nous vivons Avec des jeux vidéo.

Image de couverture | Pixabay

Dans Simseo | Chatgpt pour mobile a généré 2 000 millions de dollars. Cela peut sembler beaucoup, mais dans l'univers de l'IA est Calderilla