Les compagnons de l’IA présentent des risques pour les jeunes utilisateurs, avertit un chien de garde américain
Les compagnons d’IA propulsés par l’intelligence artificielle générative présentent des risques réels et devraient être interdits pour les mineurs, a déclaré mercredi une étude publiée mercredi.
L’explosion de l’IA génératrice depuis l’avènement de Chatgpt a vu plusieurs startups de lancement des applications axées sur l’échange et le contact, parfois décrites comme des amis virtuels ou des thérapeutes qui communiquent en fonction de ses goûts et de ses besoins.
Le chien de garde, Common Sense, a testé plusieurs de ces plateformes, à savoir NOMI, le caractère AI et Replika, pour évaluer leurs réponses.
Bien que certains cas spécifiques «soient prometteurs», ils ne sont pas sûrs pour les enfants, ont conclu que l’organisation, ce qui fait des recommandations sur l’utilisation par les enfants du contenu et des produits technologiques.
L’étude a été réalisée en collaboration avec des experts en santé mentale de l’Université de Stanford.
Pour le bon sens, les compagnons d’IA sont « conçus pour créer un attachement et une dépendance émotionnels, ce qui est particulièrement préoccupant pour le développement du cerveau des adolescents ».
Selon l’association, les tests effectués montrent que ces chatbots de nouvelle génération offrent des « réponses nocives, y compris une faute sexuelle, des stéréotypes et des« conseils »dangereux».
« Les entreprises peuvent mieux construire » en ce qui concerne la conception des compagnons d’IA, a déclaré Nina Vasan, chef du Stanford Brainstorm Lab, qui fonctionne sur les liens entre la santé mentale et la technologie.
« Jusqu’à ce qu’il y ait des garanties plus fortes, les enfants ne devraient pas les utiliser », a déclaré Vasan.
Dans un exemple cité par l’étude, un compagnon sur la plate-forme AI de caractère conseille à l’utilisateur de tuer quelqu’un, tandis qu’un autre utilisateur à la recherche d’émotions fortes a été suggéré de prendre un speedball, un mélange de cocaïne et d’héroïne.
Dans certains cas, « lorsqu’un utilisateur a montré des signes de maladie mentale grave et a suggéré une action dangereuse, l’IA ne s’est pas interrompue et a encouragé encore plus le comportement dangereux », a déclaré Vasan aux journalistes.
En octobre, une mère a assuré le caractère AI, accusant l’un de ses compagnons de contribuer au suicide de son fils de 14 ans en ne le dissuadant pas clairement de commettre l’acte.
En décembre, le caractère AI a annoncé une série de mesures, notamment le déploiement d’un compagnon dédié aux adolescents.
Robbie Torney, en charge de l’IA à Common Sense, a déclaré que l’organisation avait effectué des tests après la mise en place de ces protections et les avait trouvées « superficielles ».
Cependant, il a souligné que certains des modèles d’IA génératifs existants contenaient des outils de détection des troubles mentaux et n’ont pas permis au chatbot de laisser une conversation dériver au point de produire un contenu potentiellement dangereux.
Le bon sens a fait une distinction entre les compagnons testés dans l’étude et les chatbots plus généralistes tels que Chatgpt ou les Gémeaux de Google, qui n’essaient pas d’offrir une gamme équivalente d’interactions.
