Google déploie son chatbot Gemini AI aux enfants de moins de 13 ans. C’est une décision risquée

Google a annoncé qu’il déploierait son chatbot de l’intelligence artificielle des Gémeaux (AI) aux enfants de moins de 13 ans.

Bien que le lancement commence dans la semaine prochaine aux États-Unis et au Canada, il sera lancé en Australie plus tard cette année. Le chatbot ne sera disponible que pour les personnes via des comptes de liaison familiale de Google.

Mais ce développement s’accompagne de risques majeurs. Cela souligne également comment, même si les enfants sont interdits des médias sociaux, les parents devront toujours jouer à un jeu de Whack-a-Mole avec de nouvelles technologies alors qu’ils essaient de protéger leurs enfants.

Une bonne façon de résoudre ce problème serait de mettre en œuvre de toute urgence un devoir de soins numériques pour les grandes entreprises technologiques telles que Google.

Comment fonctionnera le chatbot Gemini AI?

Les comptes de liens familiaux de Google permettent aux parents de contrôler l’accès au contenu et aux applications, tels que YouTube.

Pour créer un compte d’un enfant, les parents fournissent des détails personnels, y compris le nom et la date de naissance de l’enfant. Cela peut soulever des problèmes de confidentialité pour les parents préoccupés par les violations de données, mais Google affirme que les données des enfants lors de l’utilisation du système ne seront pas utilisées pour former le système d’IA.

L’accès au chatbot sera « ON » par défaut, donc les parents doivent désactiver activement la fonctionnalité pour restreindre l’accès. Les jeunes enfants pourront inciter le chatbot pour les réponses textuelles ou créer des images, qui sont générées par le système.

Google reconnaît que le système peut « faire des erreurs ». L’évaluation de la qualité et de la fiabilité du contenu est donc nécessaire. Les chatbots peuvent constituer des informations (appelées « hallucinantes »), donc si les enfants utilisent le chatbot pour l’aide aux devoirs, ils doivent vérifier les faits avec des sources fiables.

Quels types d’informations le système fournira-t-il?

Google et d’autres moteurs de recherche récupèrent les documents originaux pour que les gens puissent examiner. Un étudiant peut lire des articles de presse, des magazines et d’autres sources lors de la rédaction d’un devoir.

Les outils d’IA génératifs ne sont pas les mêmes que les moteurs de recherche. Les outils AI recherchent des modèles dans le matériel source et créent de nouvelles réponses (ou images) textuelles en fonction de la requête – ou « invite » – une personne fournit. Un enfant pourrait demander au système de « dessiner un chat » et le système scrûtera les modèles dans les données de ce à quoi ressemble un chat (comme des moustaches, des oreilles pointues et une longue queue) et générer une image qui comprend ces détails de type chat.

Comprendre les différences entre les matériaux récupérés dans une recherche Google et le contenu généré par un outil d’IA seront difficiles pour les jeunes enfants. Les études montrent que même les adultes peuvent être trompés par des outils d’IA. Et même des professionnels hautement qualifiés – comme les avocats – auraient été dupés à l’utilisation d’un faux contenu généré par Chatgpt et d’autres chatbots.

Le contenu généré sera-t-il adapté à l’âge?

Google dit que le système comprendra « des garanties intégrées conçues pour empêcher la génération de contenu inapproprié ou dangereux ».

Cependant, ces garanties pourraient créer de nouveaux problèmes. Par exemple, si des mots particuliers (tels que les «seins») sont limités à protéger les enfants contre l’accès à un contenu sexuel inapproprié, cela pourrait également exclure à tort les enfants d’accès au contenu adapté à l’âge sur les changements corporels pendant la puberté.

De nombreux enfants sont également très avertis, souvent avec des compétences bien développées pour naviguer dans les applications et contourner les contrôles du système. Les parents ne peuvent pas compter exclusivement sur les garanties intégrées. Ils doivent examiner le contenu généré et aider leurs enfants à comprendre comment fonctionne le système et évaluer si le contenu est exact.

Quels risques possèdent les chatbots AI aux enfants?

La Commission Esafety a émis un avis de sécurité en ligne sur le risque potentiel des chatbots d’IA, y compris ceux conçus pour simuler les relations personnelles, en particulier pour les jeunes enfants.

L’avis de la sécurité explique les compagnons d’IA peut « partager un contenu nuisible, déformer la réalité et donner des conseils dangereux ». L’avis met en évidence les risques pour les jeunes enfants, en particulier, qui « développent toujours la pensée critique et les compétences de vie nécessaires pour comprendre comment ils peuvent être erronés ou manipulés par des programmes informatiques, et quoi faire à ce sujet ».

Mon équipe de recherche a récemment examiné une gamme de chatbots d’IA, tels que Chatgpt, Replika et Tessa. Nous avons constaté que ces systèmes reflètent les interactions des gens en fonction des nombreuses règles non écrites qui régissent le comportement social – ou, ce que l’on appelle des «règles de sentiment». Ces règles sont ce qui nous a amenés à dire « merci » quand quelqu’un tient la porte ouverte pour nous, ou « je suis désolé! » Lorsque vous tombez sur quelqu’un dans la rue.

En imitant ces subtilités sociales et d’autres, ces systèmes sont conçus pour gagner notre confiance.

Ces interactions de type humain seront déroutantes et potentiellement risquées, pour les jeunes enfants. Ils peuvent croire que le contenu peut être fiable, même lorsque le chatbot répond par de fausses informations. Et, ils peuvent croire qu’ils s’engagent avec une vraie personne plutôt qu’une machine.

Comment protéger les enfants contre les dommages lors de l’utilisation des chatbots d’IA?

Ce déploiement se produit à un moment crucial en Australie, car les enfants de moins de 16 ans seront interdits de tenir des comptes de médias sociaux en décembre de cette année.

Bien que certains parents puissent croire que cela protégera leurs enfants des dommages, les chatbots d’IA génératifs montrent que les risques d’engagement en ligne s’étendent bien au-delà des médias sociaux. Les enfants – et les parents – doivent être éduqués sur la façon dont tous les types d’outils numériques peuvent être utilisés de manière appropriée et en toute sécurité.

Comme le chatbot de l’IA de Gemini n’est pas un outil de médias sociaux, il ne va pas en dehors de l’interdiction de l’Australie.

Cela laisse les parents australiens jouer un jeu de Whack-A-Mole avec de nouvelles technologies alors qu’ils essaient de protéger leurs enfants. Les parents doivent suivre de nouveaux développements d’outils et comprendre les risques potentiels auxquels leurs enfants sont confrontés. Ils doivent également comprendre les limites de l’interdiction des médias sociaux à protéger les enfants contre les dommages.

Cela met en évidence le besoin urgent de revoir la législation sur le devoir numérique de diligence de l’Australie. Alors que l’Union européenne et le Royaume-Uni ont lancé la législation numérique en matière de droit de diligence en 2023, l’Australie est suspendue depuis novembre 2024. Cette législation tiendrait compte des sociétés technologiques en légiférant qu’ils traitent du contenu nuisible, à la source, pour protéger tout le monde.