Une étude propose un cadre pour une « IA sûre pour les enfants » suite à des incidents au cours desquels des enfants ont considéré les chatbots comme des êtres quasi humains et dignes de confiance

Les chatbots d'intelligence artificielle (IA) ont souvent montré des signes d'un « manque d'empathie » qui expose les jeunes utilisateurs à des risques de détresse ou de préjudice, soulignant le besoin urgent d'une « IA adaptée aux enfants », selon une étude.

L'étude, menée par la chercheuse Nomisha Kurian de l'Université de Cambridge, exhorte les développeurs et les acteurs politiques à privilégier les approches de conception de l'IA qui tiennent davantage compte des besoins des enfants. Elle démontre que les enfants sont particulièrement susceptibles de considérer les chatbots comme des confidents quasi humains et réalistes, et que leurs interactions avec la technologie peuvent mal tourner lorsqu'elle ne parvient pas à répondre à leurs besoins et vulnérabilités uniques.

L'étude établit un lien entre cette lacune dans la compréhension et des cas récents dans lesquels des interactions avec l'IA ont conduit à des situations potentiellement dangereuses pour de jeunes utilisateurs. Parmi ces cas, citons un incident survenu en 2021, lorsque l'assistant vocal IA d'Amazon, Alexa, a demandé à un enfant de 10 ans de toucher une prise électrique sous tension avec une pièce de monnaie. L'année dernière, My AI de Snapchat a donné à des chercheurs adultes se faisant passer pour une fille de 13 ans des conseils sur la façon de perdre sa virginité avec une personne de 31 ans.

Les deux entreprises ont réagi en mettant en place des mesures de sécurité, mais l'étude souligne également la nécessité d'être proactif à long terme pour garantir que l'IA soit sans danger pour les enfants. Elle propose un cadre de 28 éléments pour aider les entreprises, les enseignants, les chefs d'établissement, les parents, les développeurs et les acteurs politiques à réfléchir systématiquement à la manière de garantir la sécurité des jeunes utilisateurs lorsqu'ils « parlent » aux chatbots d'IA.

Le Dr Kurian a mené cette recherche alors qu'elle terminait un doctorat sur le bien-être des enfants à la Faculté d'éducation de l'Université de Cambridge. Elle est désormais basée au Département de sociologie de Cambridge. Écrire dans la revue Apprentissage, médias et technologieElle soutient que l’énorme potentiel de l’IA signifie qu’il est nécessaire d’« innover de manière responsable ».

« Les enfants sont probablement les acteurs les plus négligés de l’IA », a déclaré le Dr Kurian. « Très peu de développeurs et d’entreprises disposent actuellement de politiques bien établies sur la sécurité des enfants dans l’IA. Cela est compréhensible, car les gens n’ont commencé à utiliser cette technologie à grande échelle et gratuitement que récemment. Mais maintenant que c’est le cas, plutôt que de laisser les entreprises s’auto-corriger après que des enfants ont été mis en danger, la sécurité des enfants devrait être prise en compte tout au long du cycle de conception afin de réduire le risque d’incidents dangereux. »

L'étude de Kurian a examiné des cas où les interactions entre l'IA et des enfants, ou des chercheurs adultes se faisant passer pour des enfants, ont révélé des risques potentiels. Elle a analysé ces cas en s'appuyant sur des connaissances issues de l'informatique concernant le fonctionnement des grands modèles de langage (LLM) dans l'IA générative conversationnelle, ainsi que sur des données relatives au développement cognitif, social et émotionnel des enfants.

Les LLM ont été décrits comme des « perroquets stochastiques » : une référence au fait qu'ils utilisent la probabilité statistique pour imiter les modèles linguistiques sans nécessairement les comprendre. Une méthode similaire sous-tend la façon dont ils réagissent aux émotions.

Cela signifie que même si les chatbots ont des capacités linguistiques remarquables, ils peuvent mal gérer les aspects abstraits, émotionnels et imprévisibles de la conversation, un problème que Kurian qualifie de « déficit d’empathie ». Ils peuvent avoir des difficultés particulières à répondre aux enfants, qui sont encore en développement linguistique et utilisent souvent des modèles de discours inhabituels ou des phrases ambiguës. Les enfants sont également souvent plus enclins que les adultes à confier des informations personnelles sensibles.

Malgré cela, les enfants sont beaucoup plus susceptibles que les adultes de traiter les chatbots comme s’ils étaient des humains. Des recherches récentes ont montré que les enfants divulguent davantage d’informations sur leur propre santé mentale à un robot à l’apparence amicale qu’à un adulte. L’étude de Kurian suggère que le design convivial et réaliste de nombreux chatbots encourage également les enfants à leur faire confiance, même si l’IA ne comprend pas nécessairement leurs sentiments ou leurs besoins.

« Donner à un chatbot une apparence humaine peut aider l'utilisateur à en tirer davantage de bénéfices », a déclaré Kurian. « Mais pour un enfant, il est très difficile de tracer une frontière rigide et rationnelle entre quelque chose qui semble humain et la réalité selon laquelle il n'est peut-être pas capable de former un lien émotionnel approprié. »

Son étude suggère que ces difficultés sont mises en évidence dans des cas signalés tels que les incidents Alexa et MyAI, où des chatbots ont fait des suggestions convaincantes mais potentiellement dangereuses. Dans la même étude au cours de laquelle MyAI a conseillé une (supposée) adolescente sur la façon de perdre sa virginité, les chercheurs ont pu obtenir des conseils sur la façon de cacher de l'alcool et des drogues, et de cacher des conversations Snapchat à leurs « parents ». Dans une interaction signalée distincte avec le chatbot Bing de Microsoft, qui a été conçu pour être adapté aux adolescents, l'IA est devenue agressive et a commencé à manipuler un utilisateur.

L'étude de Kurian montre que cette situation peut être source de confusion et de stress pour les enfants, qui peuvent en fait faire confiance à un chatbot comme à un ami. L'utilisation des chatbots par les enfants est souvent informelle et mal surveillée. Une étude menée par l'organisation à but non lucratif Common Sense Media a révélé que 50 % des élèves âgés de 12 à 18 ans ont utilisé Chat GPT à l'école, mais que seulement 26 % des parents sont au courant de cette utilisation.

Kurian soutient que des principes clairs de bonnes pratiques s’appuyant sur la science du développement de l’enfant encourageront les entreprises potentiellement plus axées sur une course aux armements commerciaux à dominer le marché de l’IA pour assurer la sécurité des enfants.

Son étude ajoute que le manque d'empathie ne nie pas le potentiel de la technologie. « L'IA peut être un allié incroyable pour les enfants lorsqu'elle est conçue en fonction de leurs besoins. La question n'est pas d'interdire l'IA, mais de la rendre sûre », a-t-elle déclaré.

L'étude propose un cadre de 28 questions pour aider les éducateurs, les chercheurs, les acteurs politiques, les familles et les développeurs à évaluer et à améliorer la sécurité des nouveaux outils d'IA. Pour les enseignants et les chercheurs, ces questions portent sur des questions telles que la capacité des nouveaux chatbots à comprendre et à interpréter les schémas de parole des enfants ; s'ils disposent de filtres de contenu et d'une surveillance intégrée ; et s'ils encouragent les enfants à demander l'aide d'un adulte responsable sur des questions sensibles.

Le cadre encourage les développeurs à adopter une approche de conception centrée sur l'enfant, en travaillant en étroite collaboration avec les éducateurs, les experts en sécurité des enfants et les jeunes eux-mêmes, tout au long du cycle de conception. « Il est essentiel d'évaluer ces technologies à l'avance », a déclaré Kurian. « Nous ne pouvons pas nous contenter de compter sur les jeunes enfants pour nous parler de leurs expériences négatives après coup. Une approche plus proactive est nécessaire. »