Si les acteurs avaient peur qu’une IA les remplace, ils ne vont pas trop aimer la dernière technologie d’Amazon

Amazon est l’une des entreprises qui pousse le plus l’intelligence artificielle. Si vous regardez des compétitions sportives, vous aurez avalé de temps en temps des publicités sur AWS et des publicités sur le fonctionnement de certaines statistiques de ces sports grâce à l’IA (même si quand il n’y avait pas d’IA, il y avait aussi des statistiques).

Avec Prime Video, ils se lancent également en croisade pour automatiser certains processus comme le doublage, et maintenant ils présentent une IA qui ne se limite pas à traduire ou remplacer les doubleurs : elle réécrit directement numériquement le mouvement des lèvres des acteurs pour qu’il semble qu’ils prononcent les mots de chacune de ces langues doublées.

Ils le testent déjà dans une série allemande et il y a quelque chose à dire : il est plus ancien que Prime Video.

En bref. Il y a quelques jours, et comme nous le lisons dans Futurism, Raf Soltanovich, vice-président de la technologie chez Prime Video et Amazon GMM Studios (car il ne s’agit pas seulement de Prime Video, mais de la société de production cinématographique de l’entreprise), a déclaré que l’entreprise souhaitait créer une « manière plus fluide et immersive de profiter du contenu mondial ».

Cela se traduit par un outil d’IA qui prend directement la vidéo originale comme référence et modifie numériquement les lèvres et la partie inférieure du visage des acteurs et actrices, image par image, afin que leur bouche corresponde à la piste audio doublée.

Pilote. Amazon n’a publié aucune vidéo ni démo technologique, mais on sait que le déploiement commence déjà avec la série « Maxton Hall ». Il s’agit d’une série allemande qui utilise déjà cette technologie pour le doublage en anglais et la société a déjà clairement indiqué que, bien qu’il s’agisse d’un test, elle envisage de l’étendre à davantage de titres dans le futur. Nous n’avons pas d’horaire ni si cela atteindra des langues autres que l’anglais.

Pari global. Ce que nous savons, c’est que, comme nous l’avons dit il y a quelques lignes, Amazon poursuit son engagement en faveur de l’IA pour sa plateforme vidéo. Au-delà des outils algorithmiques, Amazon a déjà délégué certains aspects de sa plateforme à l’IA générative. Par exemple, il teste des systèmes de doublage « assistés par l’IA » pour des films et des séries en anglais et en espagnol, ainsi que des doublages entièrement générés par l’IA pour certains dessins animés (ce qui a provoqué une réaction extrêmement négative de la part des utilisateurs et des acteurs).

Également des résumés de séries qui se sont « si bien déroulées » que, dans certains cas, elles ont dû être retirées en raison du nombre d’erreurs qu’elles comportaient. Et des productions directement réalisées avec l’IA, comme ‘Love, Diana Music Hunters’ qui n’est pas sans rappeler un certain film K-Pop sur Netflix… Entre autres productions.

Rien de nouveau. Mais bon, malgré tout, le schéma est clair et Amazon semble avoir besoin de pousser au maximum cette technologie. Ce n’est pas surprenant compte tenu du montant d’argent qu’ils investissent, mais ce n’est pas nouveau. En fait, il existe des entreprises comme Flawless AI qui ont été fondées il y a des années précisément dans ce but.

Dans les jeux vidéo également, il s’agit d’une technologie que des titres comme « Cyberpunk 2077 » ont utilisée pour améliorer la synchronisation labiale dans toutes les langues. En fait, lorsque les deepfakes existaient, la technologie était déjà utilisée à cet effet. A défaut de démo Amazon, voici la démo Flawless :

étrange vallée. Pour en revenir à Amazon, qui va remarquer cela ? Évidemment, cela les dérange beaucoup que lorsqu’un personnage dit « deux fois » avec un court mouvement de la bouche en espagnol, il sonne « deux fois » alors que la bouche s’est fermée une milliseconde auparavant. Le problème est de savoir ce que cette technologie peut causer, car nous avons eu de nombreux exemples de petits traits du visage modifiés par ordinateur que, en tant qu’humains, nous remarquons immédiatement.

En fin de compte, l’IA apprend et peut s’améliorer (il y a l’éternel exemple de Will Smith mangeant des pâtes), mais les humains sont conçus pour remarquer immédiatement et inconsciemment toute perturbation de leurs caractéristiques. Nous passons une grande partie de notre vie à « lire » les visages, ce que nous faisons depuis que nous sommes une espèce. Cette technologie peut donc provoquer plus de rejet que la simple désynchronisation des lèvres.

Rejet professionnel. Et, au-delà de l’étrange vallée, le revers de la médaille est que cette utilisation ambitieuse de l’IA a amené le secteur des doubleurs et actrices à se confronter à Amazon. L’un des cas les plus célèbres est celui de la voix de Lara Croft dans le jeu « Tomb Raider : Legacy of Atlantis », qui, à part une bouffée d’IA générative, ne mettra pas en vedette les actrices qui ont exprimé Lara depuis 1998 car il n’y aura pas de doublage dans de nombreuses langues.

Et le problème n’est pas qu’ils vont doubler avec l’IA, mais plutôt qu’ils veulent que les acteurs qui travaillent avec eux cèdent les droits sur leur voix pour qu’Amazon puisse former l’IA, ce que les syndicats et les associations de doublage ont refusé de faire et, par conséquent, il existe des langues dans lesquelles certaines entreprises ne doublent pas leurs titres.

De l’Adoma, le plus grand syndicat d’acteurs et d’actrices de voix au niveau national, ils ont attaqué Amazon pour ne pas protéger les acteurs de voix avec une clause adéquate sur l’IA et, en outre, ont déclaré que les entreprises formaient des modèles d’IA « capables de générer des voix en les « imitant », sans autorisation et sans compensation ».

Images | Impeccable

À Simseo | En Chine, 470 séries réalisées avec l’IA sont produites chaque jour. 99,9% d’entre eux ne parviennent à personne