La Chine vient de réglementer quelque chose qui compte vraiment : savoir si l’IA finira par être notre amie ou notre petite amie

La Chine a décidé de limiter un type d’IA bien spécifique : celle conçue pour ressembler à une personne. Doubao (ByteDance) et Qwen (Alibaba) ont annoncé qu’ils désactiveraient leurs agents d’IA personnalisés avant l’entrée en vigueur imminente de la réglementation. Tencent l’avait déjà fait avec son modèle Yuanbao, mais derrière toutes ces fermetures se cache une idée bien plus profonde.

Le black-out de l’IA anthropomorphique a déjà une date. Doubao a déjà prévenu ses utilisateurs que ses agents IA personnalisés cesseront de fonctionner le 15 juillet en raison d’« ajustements de produits » et que trois mois plus tard, ils ne pourront plus accéder aux conversations stockées avec lesdits chatbots. Avec Qwen les choses seront encore plus rapides : les agents disparaîtront le 10 juillet, et le reste des fonctions disparaîtra cinq jours plus tard. Ces mesures sont prises avant l’entrée en vigueur des nouvelles mesures provisoires pour l’administration des services d’interaction anthropomorphique avec l’IA, récemment publiées par le gouvernement chinois.

Des chatbots conversationnels, oui… Ce qui est intéressant dans la réglementation, c’est qu’elle ne réglemente pas l’IA générative en général. Laissez les assistants travailler, étudier, faire des recherches ou servir les clients. Ce qu’il réglemente, ce sont des systèmes qui « simulent les traits de personnalité humaine, les schémas de pensée et les styles de communication pour fournir une interaction émotionnelle soutenue ». Le problème n’est donc pas que l’IA puisse être plus ou moins puissante, mais qu’elle puisse simuler le comportement d’une personne.

…les chatbots d’entreprise non. Les fonctions qui disparaissent de ces plateformes sont celles qui permettaient de transformer un chatbot généraliste en personnage de fiction, en ami ou encore en partenaire amoureux. Cette personnalisation confère à ces agents IA une personnalité fixe, une mémoire et un style conversationnel caractéristique qui renforcent l’interaction avec lui. Il ne s’agissait donc pas d’outils destinés à remplacer le moteur de recherche actuel, mais plutôt de systèmes conçus pour piéger l’utilisateur dans une relation et une conversation de plus en plus personnelles et intimes.

Attention à la dépendance affective. Ici, la réglementation chinoise ne cherche pas à identifier les risques dangereux tels que ceux traditionnellement discutés, par exemple, avec la réglementation de l’Union européenne. Au lieu de cela, il surveille les interactions dans lesquelles il existe une dépendance émotionnelle, une dépendance potentielle et même une manipulation par ces systèmes. En fait, il est interdit à ces systèmes de favoriser des liens émotionnels qui pourraient conduire à des décisions irrationnelles. Tout cela est stoppé par la réglementation pour éviter une potentielle détérioration des relations personnelles.

L’IA doit s’auto-analyser. Selon le règlement, l’IA doit intervenir lorsqu’elle détecte ce type de situations. Si un utilisateur manifeste des émotions trop extrêmes à l’égard de ces chatbots ou s’il perçoit qu’il peut y avoir des risques pour son intégrité, l’IA devrait l’inciter à demander de l’aide voire à activer certains protocoles d’urgence. Vous devez également avertir si vous constatez une utilisation excessive et rappeler à l’utilisateur de se reposer après deux heures de conversation continue. D’une certaine manière, ces réglementations rappellent les mécanismes de « bien-être numérique » imposés aux applications mobiles qui tentent de limiter l’utilisation des réseaux sociaux.

Protection des personnes vulnérables. Les mesures accordent une attention particulière aux utilisateurs mineurs ainsi qu’aux personnes âgées. Par exemple, il est interdit à ces types de chatbots de proposer des relations virtuelles intimes, comme des couples ou des parents artificiels, et ils nécessitent le consentement des parents. Il existe également une obligation de prendre des précautions lorsque les utilisateurs sont âgés, car ce groupe est particulièrement exposé à la solitude et à une éventuelle dépendance émotionnelle.

L’IA doit rester exactement cela : être une IA. Bien que l’impact psychologique de ces modèles sur leurs relations avec les gens ait progressé, il s’agit probablement de la première réglementation majeure qui ne tente pas de contrôler la puissance des modèles d’IA, mais plutôt leur capacité à établir des relations personnelles avec les utilisateurs. Cette discussion finira probablement par atteindre l’Europe et les États-Unis et constitue la pierre de touche d’une technologie qui s’infiltre certainement depuis un certain temps dans la sphère personnelle.

Images | Andy Kelly

À Simseo | Dire à l’IA ce qui vous inquiète n’était que la première étape : il existe déjà des robots qui se font passer pour des psychiatres agréés