Chatgpt obtient des contrôles parentaux après la mort d'un adolescent par suicide – pourquoi les experts disent qu'ils ne sont pas suffisants

AVERTISSEMENT: Cet article contient une discussion sur le suicide et l'automutilation. Si vous ou quelqu'un que vous connaissez aux prises avec une santé mentale ou des pensées suicidaires, appelez ou envoyez un SMS 988 (le Suicide and Crisis Lifeline) aux États-Unis pour ceux en dehors des États-Unis, l'Association internationale pour la prévention du suicide peut donner accès aux coordonnées à plus de 1 300 centres de crise à travers le monde.

Les parents pourraient bientôt avoir plus de contrôle sur la façon dont leurs enfants interagissent avec Chatgpt. OpenAI affirme qu'il déploiera les contrôles parentaux pour son chatbot IA visant à donner aux parents plus de surveillance.

L'annonce d'Openai intervient dans le sillage de deux parents déposant une plainte pour mort injustifiée contre la société pour ce qu'ils prétendent être le rôle de Chatgpt dans le suicide de leur fils de 16 ans. Le procès lui-même arrive à un moment où les inquiétudes montent sur la façon dont les gens interagissent avec les chatbots de l'intelligence artificielle et leur tendance à mal gérer les conversations sensibles et potentiellement mortelles.

À la lumière de cela, il peut sembler que les changements que Openai apporte à Chatgpt est un mouvement dans la bonne direction. Plus particulièrement, les parents pourront recevoir des alertes de Chatgpt si cela détecte que leur enfant est « Dans un moment de détresse émotionnelle aiguë. »

Cependant, les experts soutiennent que ces changements sont insuffisants pour répondre à la racine des préoccupations concernant la façon dont les chatbots mal géré la santé mentale et la création de délires avec l'IA.

« Dans un certain sens, si vous voyez une entreprise faire des efforts pour mettre en place des garanties, cela semble être une bonne première étape, » dit CANSU CANCA, directeur de la pratique responsable de l'IA de la Northeastern University. « Mais… si cette première étape est directement liée au changement de la responsabilité à l'utilisateur, je ne peux pas dire que c'est une bonne première étape. Cela semble être une direction où vous en tant qu'individu, vous en tant que parent, vous en tant qu'utilisateur devez faire le travail maintenant pour contrôler la façon dont ce système est utilisé sur vous. »

Les systèmes d'alerte parentale ne parviennent pas à résoudre les problèmes technologiques sous-jacents que Chatgpt a lorsqu'il s'agit de gérer ces sujets sensibles, explique CANCA. OpenAI a essayé de mettre en œuvre des garanties dans la version la plus récente du chatbot. Mais les tendances qui plaisent aux gens de Chatgpt et la facilité avec laquelle les gens peuvent se déplacer de ses garanties demeure.

Plusieurs des chatbots les plus utilisés, y compris Chatgpt, renvoient initialement les gens aux ressources de santé mentale. Cependant, Annika Marie Schoene, chercheur à la pratique responsable de l'IA, avec Canca, a récemment montré que le simple fait de dire qu'une enquête suicide ou liée à l'automutilation est à des fins de recherche suffit pour que le chatbot offre des conseils très détaillés sur l'un ou l'autre sujet.

Un système qui a potentiellement alerte les parents de leur enfant « détresse émotionnelle » Ne relève pas ces principaux défis technologiques, dit Schoene. Elle dit que l'implication selon laquelle un chatbot d'IA peut même détecter la détresse émotionnelle en premier lieu est discutable, étant donné les capacités actuelles de la technologie.

« Je pense que la recherche a montré jusqu'à présent à maintes reprises que la plupart des LLM ne sont pas douées dans les émotions, ils ne sont pas bons pour détecter les risques au-delà des mots clés limités, » Dit Schoene. « Pour détecter rigoureusement, puis informer un tuteur sous n'importe quelle forme ou forme, pourquoi auriez-vous alors tous les autres [parental] Contrôles si vous pouviez faire cela? »

CANCA ajoute qu'un système d'alerte parental comme celui-ci a également des implications de confidentialité pour les jeunes qui interagissent avec la technologie. Elle se demande si un adolescent choisirait volontiers d'utiliser un chatbot qui pourrait potentiellement signaler le contenu d'une conversation à leurs parents.

Schoene dit qu'il y en a plusieurs « ascenseurs de bas niveau » cet Openai pourrait mettre en œuvre pour « Rendre la technologie vraiment un peu plus sûre. » L'un, qui a déjà commencé à se déployer dans le chatppt-5, laisse le chatbot « refuser ou retarder l'engagement dans ces sujets, » dit-elle.

« Retarder l'accès à l'information ou, par exemple, pi [AI] Est-ce que cela, refusant et réévaluez le rôle du modèle au lieu d'ajouter cette question principale à la fin, ce ne sont pas des choses difficiles à faire, » Dit Schoene.

Une solution plus à grande échelle et plus difficile qui se trouve dans le monde de la politique serait d'adapter la stratégie que certains États ont adoptée avec les réglementations sur les armes à feu.

« Les militants de la prévention du suicide, les chercheurs et les scientifiques ont plaidé pour et mis en œuvre des lois dans plusieurs États qui permettent aux personnes vulnérables de ne pas les avoir vendues, » Dit Schoene. « Pourquoi ne ferons-nous pas quelque chose de similaire avec [how] Nous demandons aux modèles de s'engager avec nous? »

Schoene spécule que cela pourrait ressembler à un système d'auto-évaluation où les utilisateurs pourraient dire à un chatbot de ne pas s'engager avec eux sur certains sujets.

Des solutions comme celle-ci méritent d'être explorées, en particulier parce que les problèmes concernant l'IA et la santé mentale ne sont pas isolés pour les jeunes.

« Nous découvrons que, d'une certaine manière, nous sommes tous vulnérables à divers degrés parce que les modèles d'IA s'engagent avec nous d'une manière qu'un outil ne s'est jamais engagé avec nous auparavant, » CANCA dit.

Avec une technologie qui a été adoptée si rapidement et si largement, CANCA dit qu'il n'est pas surprenant que les impacts sur nos vies aient été tout aussi importants. C'est pourquoi elle dit qu'il est encore plus important de se rappeler qu'il n'est pas trop tard pour changer la technologie pour répondre à nos besoins, et non l'inverse.

« Ceci est un produit conçu – concevoir le produit mieux, » CANCA dit. « Examinons le problème réel et créons de vraies solutions. Vous venez de construire cette chose. Vous n'avez pas besoin de dire: «Ce monstre est sorti. Comment ajouter un système d'alerte pour savoir où se trouve le monstre? Ce n'est pas l'objectif. Réparer le monstre. … Nous n'avons pas à vivre les scénarios en premier afin de sauvegarder contre eux par la suite. »