Le doublage de films a un problème, ça s’appelle l’intelligence artificielle et ça a déjà des résultats étonnants

Trop de jurons. C’était le problème de ‘tombe‘, le dernier film du réalisateur Scott Mann. Lionsgate, le producteur de ce thriller de survie, voulait obtenir une cote PG-13 pour ouvrir la production à un public beaucoup plus large. Comment l’obtenir? Facile : utiliser l’intelligence artificielle.

« F*** ». Les protagonistes histrioniques n’ont pas cessé d’utiliser des jurons et des variantes du mot « jo *** » dans le film. La situation qu’ils vivent est pour cela, bien sûr, mais cela c’était un problème afin de pouvoir sortir le film afin qu’il puisse être vu par un public plus jeune.

deepfake à la rescousse. La technologie a été un grand allié du cinéma pendant des décennies, et ces derniers temps, les choses sont allées plus loin. L’intelligence artificielle a aidé les deepfakes appliqués au septième art à permettre des choses étonnantes comme rajeunir ou vieillir des acteurs ou, ces derniers temps, préserver leur voix pour toujours.

Là où j’ai dit, je dis Diego. Mann, qui avait eu de mauvaises expériences avec d’autres tournages, a découvert une étude universitaire qui a parlé des réseaux de neurones et comment ils pourraient être appliqués à ce domaine. Il a contacté les auteurs et a réussi à créer un outil rudimentaire pour créer une nouvelle solution de doublage.

« Vubber ». Au lieu du doublage traditionnel de l’audio, le doublage (doublage) visuel (d’où le « v » initial). Après avoir signé un autre expert nommé Nick Lynes, la société a été créée IA sans faillespécialisé dans cette évolution des deepfakes surtout orientés vers le monde du cinéma, soit pour le doublage, soit pour modifier ce que les acteurs ont dit et le corriger sans avoir à refaire des plans après (avec la complexité que cela implique).

Robert de Niro parle allemand… La technologie TrueSync de Flawless AI identifie les modèles dans les phonèmes des acteurs (sons qu’ils émettent) et les visèmes (comment ils bougent leur bouche lorsqu’ils les produisent). Après apprentissage du système, celui-ci est alors capable de simuler que l’acteur dit autre chose, ou le dit dans n’importe quelle autre langue.

… mais bouge aussi sa bouche comme le ferait un Allemand. La chose vraiment intéressante à propos de cette technologie est que la bouche bouge en fonction de la prononciation de ces mots, donc le doublage ne « chante » plus autant.

Dans la vidéo, vous pouvez voir comment dans le doublage traditionnel, vous pouvez voir que Jack Nicholson ne semble pas parler français, mais avec ce système, Robert de Niro semble parler allemand car sa bouche bouge (plus ou moins) comme il se doit en prononçant ces mots. Le résultat n’est certes pas parfait, mais il ne cesse de s’améliorer. Ces photos datent d’il y a un an.

les choses s’améliorent. Comme nous l’avons dit, les modèles qui vous permettent d’ajuster le résultat se sont beaucoup améliorés ces derniers mois, et cela se voit dans ‘Fall’. Dans cette vidéo Flawless, vous pouvez voir comment ils parlent du processus et à la minute 1:54 ils montrent comment ils modifient l’un des protagonistes pour qu’au lieu de ‘Merde****‘ dire ‘paniquer‘, beaucoup plus acceptable pour les chambres.

Les comédiens de doublage, en danger. Comme dans tant d’autres domaines « menacés » par l’intelligence artificielle, ce type d’outils — il y en a d’autres en cours de développement, comme la proposition de gobelet en carton– ils peuvent limiter l’avenir des comédiens de doublage. En Espagne, cette option fait traditionnellement partie des contenus diffusés en langues étrangères, même si c’est vrai : elle provoque parlons moins bien anglais que suédois ou portugais.

Ne crois pas ce que tu vois. Le débat va bien sûr plus loin. Cet outil présente des avantages évidents pour le monde du cinéma et de la télévision, mais il confirme également le danger des deepfakes, de plus en plus crédibles, s’ils sont utilisés non seulement pour la satire, mais pour répandre de fausses nouvelles ou commettre toutes sortes de fraudes. A ce rythme, il sera impossible de savoir ce qui est réel et ce qui ne l’est pas.

Image : IA sans faille