OpenAI craint que sa voix d'IA puisse charmer les utilisateurs
OpenAI craint qu'une fonctionnalité vocale réaliste pour son intelligence artificielle puisse amener les gens à créer des liens avec le bot au détriment des interactions humaines.
La société basée à San Francisco a cité des documents indiquant que discuter avec l'IA comme on le ferait avec une personne peut entraîner une confiance mal placée et que la haute qualité de la voix du GPT-4o peut exacerber cet effet.
« L'anthropomorphisation consiste à attribuer des comportements et des caractéristiques de type humain à des entités non humaines, telles que des modèles d'IA », a déclaré OpenAI jeudi dans un rapport sur les travaux de sécurité qu'il effectue sur une version ChatGPT-4o de son IA.
« Ce risque peut être accru par les capacités audio du GPT-4o, qui facilitent des interactions plus humaines avec le modèle. »
OpenAI a déclaré avoir remarqué que les testeurs parlaient à l'IA d'une manière qui laissait entrevoir des liens partagés, par exemple en se lamentant à haute voix que c'était leur dernier jour ensemble.
Il a déclaré que ces cas semblent bénins mais doivent être étudiés pour voir comment ils pourraient évoluer sur des périodes plus longues.
Selon OpenAI, socialiser avec l'IA pourrait également rendre les utilisateurs moins aptes ou moins enclins à entretenir des relations avec les humains.
« Une interaction prolongée avec le modèle pourrait influencer les normes sociales », indique le rapport.
« Par exemple, nos modèles sont déférents, ce qui permet aux utilisateurs d'interrompre et de « prendre le micro » à tout moment, ce qui, bien qu'attendu d'une IA, serait antinormatif dans les interactions humaines. »
La capacité de l’IA à se souvenir des détails lors d’une conversation et à effectuer des tâches pourrait également rendre les gens trop dépendants de la technologie, selon OpenAI.
« Les inquiétudes récentes partagées par OpenAI concernant la dépendance potentielle au mode vocal de ChatGPT indiquent ce que beaucoup ont déjà commencé à se demander : est-il temps de faire une pause et de considérer comment cette technologie affecte l'interaction et les relations humaines ? », a déclaré Alon Yamin, cofondateur et PDG de la plateforme de détection anti-plagiat Copyleaks.
Il a déclaré que l’IA ne devrait jamais remplacer l’interaction humaine réelle.
OpenAI a déclaré qu'il testerait davantage la manière dont les capacités vocales de son IA pourraient amener les gens à développer un attachement émotionnel.
Les équipes testant les capacités vocales de ChatGPT-4o ont également pu l'inciter à répéter de fausses informations et à produire des théories du complot, ce qui fait craindre que le modèle d'IA puisse être amené à le faire de manière convaincante.
OpenAI a été contraint de s'excuser auprès de l'actrice Scarlett Johansson en juin pour avoir utilisé quelque chose de très similaire à sa voix dans son dernier chatbot, mettant ainsi en lumière la technologie de clonage de la voix.
Bien qu'OpenAI ait nié que la voix utilisée était celle de Johansson, leur cas n'a pas été amélioré par le PDG Sam Altman qui a signalé le nouveau modèle avec un message d'un seul mot sur les réseaux sociaux : « Elle ».
Johansson a prêté sa voix à un personnage d'IA dans le film « Her », dont Altman a déjà déclaré qu'il s'agissait de son film préféré sur la technologie.
Le film de 2013 met en vedette Joaquin Phoenix dans le rôle d'un homme qui tombe amoureux d'une assistante IA nommée Samantha.
