Appel à des mesures de protection pour empêcher les « hantises » indésirables de proches décédés par des chatbots IA

Sans normes de sécurité de conception, l'intelligence artificielle qui permet aux utilisateurs d'avoir des conversations textuelles et vocales avec des proches disparus court le risque de causer des dommages psychologiques et même de « hanter » numériquement ceux qui restent, selon des chercheurs de l'Université de Cambridge.

Les « Deadbots » ou « Griefbots » sont des chatbots IA qui simulent les modèles linguistiques et les traits de personnalité des morts en utilisant les empreintes numériques qu'ils laissent derrière eux. Certaines entreprises proposent déjà ces services, offrant un tout nouveau type de « présence post-mortem ».

Les éthiciens de l'IA du Leverhulme Center for the Future of Intelligence de Cambridge présentent trois scénarios de conception de plates-formes qui pourraient émerger dans le cadre du développement de « l'industrie numérique de l'au-delà », afin de montrer les conséquences potentielles d'une conception imprudente dans un domaine de l'IA qu'ils décrivent comme « à haut risque ». « .

La recherche, publiée dans la revue Philosophie et technologiesouligne la possibilité pour les entreprises d'utiliser des robots morts pour annoncer subrepticement des produits aux utilisateurs à la manière d'un être cher décédé, ou pour angoisser les enfants en insistant sur le fait qu'un parent décédé est toujours « avec vous ».

Lorsque les vivants s'inscrivent pour être virtuellement recréés après leur mort, les chatbots qui en résultent pourraient être utilisés par les entreprises pour envoyer des spams à la famille et aux amis survivants avec des notifications, des rappels et des mises à jour non sollicités sur les services qu'ils fournissent, ce qui équivaut à être « traqués numériquement par les morts ».

Même ceux qui trouvent un premier réconfort auprès d'un robot mort peuvent être épuisés par des interactions quotidiennes qui deviennent un « poids émotionnel écrasant », affirment les chercheurs, mais peuvent également être impuissants face à la suspension d'une simulation d'IA si leur proche, aujourd'hui décédé, signait un long contrat avec un service numérique d’au-delà.

« Les progrès rapides de l'IA générative signifient que presque toute personne ayant accès à Internet et possédant un certain savoir-faire de base peut ressusciter un être cher décédé », a déclaré le Dr Katarzyna Nowaczyk-Basińska, co-auteur de l'étude et chercheur au Leverhulme Center for the Future of Intelligence de Cambridge. (LCFI).

« Ce domaine de l'IA est un champ de mines éthique. Il est important de donner la priorité à la dignité du défunt et de veiller à ce qu'elle ne soit pas empiété par des motivations financières liées aux services numériques d'au-delà, par exemple. Dans le même temps, une personne peut laisser un La simulation de l'IA comme cadeau d'adieu pour les proches qui ne sont pas prêts à gérer leur chagrin de cette manière. Les droits des donneurs de données et de ceux qui interagissent avec les services d'au-delà de l'IA devraient être également protégés.

Il existe déjà des plateformes proposant de recréer les morts avec l'IA pour une somme modique, comme « Project December », qui a commencé par exploiter des modèles GPT avant de développer ses propres systèmes, et des applications comme « HereAfter ». Des services similaires ont également commencé à émerger en Chine.

L'un des scénarios potentiels du nouvel article est « MaNana », un service d'IA conversationnelle permettant aux gens de créer un robot mort simulant leur grand-mère décédée sans le consentement du « donneur de données » (le grand-parent décédé).

Le scénario hypothétique voit un petit-enfant adulte initialement impressionné et réconforté par la technologie commencer à recevoir des publicités une fois un « essai premium » terminé. Par exemple, le chatbot propose de commander auprès des services de livraison de nourriture avec la voix et le style du défunt.

Le parent estime qu'il a manqué de respect à la mémoire de sa grand-mère et souhaite que le robot mort soit désactivé, mais de manière significative, ce que les prestataires de services n'ont pas envisagé.

« Les gens pourraient développer des liens émotionnels forts avec de telles simulations, ce qui les rendrait particulièrement vulnérables à la manipulation », a déclaré le co-auteur, le Dr Tomasz Hollanek, également du LCFI de Cambridge.

« Des méthodes et même des rituels permettant de retirer dignement les robots morts doivent être envisagés. Cela peut impliquer une forme de funérailles numériques, par exemple, ou d'autres types de cérémonie en fonction du contexte social. Nous recommandons de concevoir des protocoles qui empêchent que les robots morts soient utilisés de manière irrespectueuse. moyens, par exemple pour faire de la publicité ou avoir une présence active sur les réseaux sociaux.

Alors que Hollanek et Nowaczyk-Basińska affirment que les concepteurs de services de loisirs devraient activement rechercher le consentement des donneurs de données avant de les transmettre, ils soutiennent qu'une interdiction des robots morts basée sur des donateurs non consentants serait irréalisable.

Ils suggèrent que les processus de conception devraient impliquer une série d'invites pour ceux qui cherchent à « ressusciter » leurs proches, telles que « Avez-vous déjà parlé avec X de la façon dont ils aimeraient qu'on se souvienne d'eux ? la dignité des défunts est donc au premier plan dans le développement des robots morts.

Un autre scénario présenté dans le journal, une société imaginaire appelée « Paren't », met en lumière l'exemple d'une femme en phase terminale quittant un robot mort pour aider son fils de huit ans dans son processus de deuil.

Alors que le robot mort constitue initialement une aide thérapeutique, l’IA commence à générer des réponses déroutantes à mesure qu’elle s’adapte aux besoins de l’enfant, par exemple en décrivant une rencontre imminente en personne.

Les chercheurs recommandent des restrictions d'âge pour les robots morts et appellent également à une « transparence significative » pour garantir que les utilisateurs soient systématiquement conscients qu'ils interagissent avec une IA. Celles-ci pourraient s’apparenter aux avertissements actuels sur les contenus susceptibles de provoquer des saisies, par exemple.

Le dernier scénario exploré par l'étude – une société fictive appelée « Stay » – montre une personne âgée s'engageant secrètement dans un robot mort d'elle-même et payant un abonnement de vingt ans, dans l'espoir que cela réconfortera ses enfants adultes et permettra à ses petits-enfants de les connaître.

Après la mort, le service entre en jeu. Un enfant adulte ne s'engage pas et reçoit un barrage d'e-mails avec la voix de son parent décédé. Un autre le fait, mais finit par être épuisé émotionnellement et rongé par la culpabilité face au sort du robot mort. Pourtant, suspendre le robot mort violerait les termes du contrat que leur parent a signé avec la société de services.

« Il est essentiel que les services numériques d'après-vie prennent en compte les droits et le consentement non seulement de ceux qu'ils recréent, mais aussi de ceux qui devront interagir avec les simulations », a déclaré Hollanek. « Ces services courent le risque de causer une énorme détresse aux gens s'ils sont soumis à des hantises numériques indésirables provenant de recréations d'une précision alarmante par l'IA de ceux qu'ils ont perdus. L'effet psychologique potentiel, en particulier à une période déjà difficile, pourrait être dévastateur. »

Les chercheurs appellent les équipes de conception à donner la priorité aux protocoles de désinscription qui permettent aux utilisateurs potentiels de mettre fin à leurs relations avec les robots morts de manière à mettre un terme à leurs émotions.

Nowaczyk-Basińska a ajouté : « Nous devons commencer à réfléchir dès maintenant à la manière d'atténuer les risques sociaux et psychologiques de l'immortalité numérique, car la technologie est déjà là. »