Les chercheurs en IA exposent des vulnérabilités critiques au sein des principaux grands modèles de langage

Une question éthique et juridique qui mérite discussion

Le nouveau cadre juridique européen sur l'intelligence artificielle, l'EU AI Act, est entré en vigueur le 1er août et vise à prévenir les violations des droits liées à l'utilisation de cette technologie. La législation classe l'IA selon le niveau de risque qu'elle peut présenter pour les individus et la société, et interdit les technologies qui présentent un « risque inacceptable », comme celles qui manipulent et exploitent les vulnérabilités des personnes.

Une technologie qui pourrait entrer dans cette catégorie est celle des robots morts, que certaines entreprises développent déjà et envisagent de commercialiser dans un avenir proche. Il s'agit de chatbots basés sur l'identité numérique d'une personne décédée (messages WhatsApp, réseaux sociaux, e-mails, etc.) et qui sont capables de converser avec la famille et les amis de la personne décédée, en imitant sa personnalité. Bien que cela puisse ressembler à de la science-fiction, ce n’est pas le cas et les services de ce type sont plus proches qu’on ne l’imagine.

Belén Jiménez, titulaire d'un doctorat. Docteur en psychologie et membre de la Faculté de psychologie et des sciences de l'éducation et chercheur du groupe IN3 CareNet de l'Université Oberta de Catalunya (UOC), il est spécialiste de la médiation technologique du deuil. Une partie de ses recherches portent sur les deadbots, domaine dans lequel elle a publié plusieurs études.

« Certaines précautions doivent être prises lors de l'utilisation de deadbots et il est essentiel de réglementer leur utilisation, car la recherche du profit des entreprises qui les commercialisent peut ne pas être alignée avec l'utilisation thérapeutique potentielle », a-t-elle déclaré.

Ses recherches pertinentes sont publiées dans Éthique dans les systèmes basés sur l'IA en ligne et aussi dans Pensée psychologique.

Un débat complexe sans réponses claires

« Bien que les deadbots ne soient pas encore commercialisés, nous devons réfléchir aux aspects bioéthiques de cette technologie. Leur utilisation pourrait bientôt devenir normale, comme cela s'est produit avec d'autres applications qui ont pu nous surprendre au départ, mais qui sont désormais largement utilisées, comme applications de rencontres. De plus en plus d'entreprises émergent dans ce que l'on appelle l'industrie de l'au-delà numérique, et elles améliorent la technologie », a expliqué Jiménez.

Elle estime qu'il est essentiel « d'étudier comment les robots morts médiatisent le deuil et peuvent le transformer. C'est un domaine dans lequel il n'existe pratiquement pas d'études scientifiques et il n'y a pas de réponses claires, car leur utilisation et leurs effets dépendent de divers facteurs, notamment de la manière dont ces technologies sont conçus. »

Entre autres choses, la nouvelle législation européenne stipule que les chatbots doivent informer l'utilisateur qu'ils communiquent avec un programme informatique et non avec une personne. Bien qu’elle qualifie cette technologie de « risque limité », dans des contextes sensibles comme la santé, ce qui serait le cas des deadbots, les implications de ces programmes doivent être soigneusement analysées.

Les recherches menées par Jiménez, également membre du groupe de recherche CERPOP de l'Université de Toulouse, ont montré que les personnes endeuillées affichent des attitudes ambivalentes face à cette nouvelle technologie : à la volonté de maintenir un lien affectif avec leurs proches se conjugue un malaise cela vient de l'interaction avec un programme basé sur l'identité numérique de la personne décédée.

Les Deadbots sont basés sur ce que l'on appelle des « liens continus » entre les personnes endeuillées et les défunts, un terme fréquemment utilisé dans la psychologie du deuil. Le chercheur de l'UOC a déclaré que « ces technologies profitent du besoin des gens d'établir des liens émotionnels ».

En effet, ils pourraient être équivalents à une version avancée et technologique consistant à avoir une conversation imaginaire avec notre proche devant sa tombe ou à préserver sa mémoire à travers des photographies et des vidéos.

« Ce besoin de maintenir des liens ne doit pas nécessairement être pathologique », a expliqué Jiménez, « et c'est normal pour beaucoup de gens. Cependant, certaines précautions doivent être prises lors de l'utilisation de deadbots et il est essentiel de réglementer leur utilisation, car le profit Les motivations des entreprises qui les commercialisent pourraient ne pas correspondre à l’utilisation thérapeutique potentielle de cette technologie. »

En l'absence d'études, Jiménez a souligné que les effets psychologiques de ces technologies dépendront des utilisateurs eux-mêmes, de la relation qu'ils entretenaient avec le défunt et de la relation qu'ils établissent avec le chatbot.

« L'un des dangers est que cela pourrait entraîner des effets négatifs, comme la création d'une relation de dépendance, voire des souffrances causées par une seconde perte, si le robot mort disparaît, par exemple à cause de problèmes techniques », prévient-elle.

Réglementer l’industrie numérique de l’au-delà

Notre désir d’immortalité et de progrès technologique stimule l’industrie numérique de l’au-delà, un secteur qui exploite la présence numérique des personnes décédées pour perpétuer leur mémoire et même prolonger leur activité numérique. Cela a de nombreuses implications éthiques et sociales. Les entreprises poursuivent des objectifs commerciaux et économiques qui peuvent être en conflit avec les objectifs thérapeutiques potentiels de ces outils. Des stratégies telles que l'envoi de notifications par des robots morts et d'autres actions pour garder les personnes endeuillées « accrochées » peuvent être éthiquement discutables, selon Jiménez.

« Nous sommes face à un nouveau développement technologique basé sur l'intelligence artificielle, qui comporte de grands risques, et il doit être réglementé pour anticiper ses éventuels effets négatifs, tout en tenant compte de sa dimension éthique », a déclaré le chercheur. « La nouvelle réglementation européenne s'attache à promouvoir la transparence de ces technologies, essentielle dans des domaines aussi sensibles que le deuil. »

« De plus, les entreprises qui développent ces services doivent se conformer à des normes rigoureuses et investir dans des programmes d'audit, de transparence et de documentation », a-t-elle expliqué. La loi sur l'IA prévoit des amendes pouvant aller jusqu'à 30 millions d'euros ou 6 % du chiffre d'affaires d'une entreprise si elle ne respecte pas la loi.

En l'absence de réglementation spécifique pour les robots morts, Jiménez propose que la réglementation « garantisse particulièrement le respect et la dignité de la personne décédée, ainsi que favorise le bien-être psychologique de l'utilisateur, surtout s'il est en deuil ».