L’IA pourrait transformer les effets visuels des films, mais d’abord, la technologie doit répondre au débat sur le droit d’auteur

Alors que de nombreux acteurs des industries créatives craignent que l’IA ne leur vole leur emploi, le réalisateur oscarisé James Cameron adopte cette technologie. Cameron est célèbre pour avoir réalisé les films « Avatar » et « Terminator », ainsi que « Titanic ». Il rejoint désormais le conseil d'administration de Stability.AI, un acteur majeur dans le monde de l'IA générative.

Dans les films « Terminator » de Cameron, Skynet est une intelligence artificielle générale qui a pris conscience d'elle-même et est déterminée à détruire les humains qui tentent de la désactiver. Quarante ans après le premier de ces films, son réalisateur semble changer de camp et s’allier à l’IA. Alors qu'est-ce qu'il y a derrière tout ça ?

Évaluée à environ un milliard de dollars, Stability.AI avait, jusqu'à récemment du moins, son siège au-dessus d'un magasin de poulets à Notting Hill. Il est célèbre pour Stable Diffusion, un outil de conversion texte-image qui crée des images hyperréalistes à partir de requêtes de texte (ou invites) de ses utilisateurs. Il passe désormais à la vidéo créée par l’IA.

Cameron semble considérer leur travail comme un tournant potentiel dans le domaine des effets visuels cinématographiques : « J'étais à l'avant-garde du CGI il y a plus de trois décennies, et je suis resté à la pointe depuis. Aujourd'hui, l'intersection de l'IA générative et de l'image CGI la création est la prochaine vague », a-t-il commenté dans un communiqué de presse de Stability.AI.

Les cinéastes complètent la réalité de l'action en direct qu'ils tournent avec deux types d'effets : les effets spéciaux (SFX) et les effets visuels (VFX). Ils interviennent à deux étapes différentes de la production cinématographique. Pendant le tournage, les SFX sont tous les effets physiques utilisés pour créer le spectacle : explosions, jets de sang, accidents de véhicules, prothèses, mouvements mécaniques des décors.

Pendant la post-production, les VFX sont les systèmes numériques qui ajoutent de nouveaux éléments aux images filmées en direct : images générées par ordinateur (CGI), compositing, rendu par capture de mouvement. Ils combinent également des images prises séparément.

Un développement récent de la technologie cinématographique, la production virtuelle, a introduit certaines techniques VFX dans le tournage du film. Ce processus utilise ce que l'on appelle les « moteurs de jeux », une technologie développée pour la création de jeux vidéo. Les acteurs sont filmés devant des murs LED sophistiqués, qui projettent des mondes virtuels dynamiques et préproduits autour de l'interprète.

La réalité physique de SFX signifie que l’intelligence artificielle aura ici un impact très limité. C’est dans les effets visuels que l’IA peut avoir un effet transformateur. J'aborderai le sujet des deepfakes et de l'IA dans le cinéma lors d'une conférence publique le 30 octobre 2024 : « Deepfakes et IA dans le cinéma et les médias : voir, ce n'est pas croire ».

Nous étudions également le sujet par le biais du Synthetic Media Research Network, un groupe que je co-dirige et qui rassemble des créateurs de films, des chercheurs universitaires et des développeurs d’IA. J'ai parlé à un membre de ce collectif, Christian Darkin, un artiste VFX qui travaille désormais en tant que responsable de l'IA créative pour Deep Fusion Films.

Il considère l’impact de l’IA générative sur les effets visuels comme la création d’un choix infini en post-production. À l’avenir, filmer les acteurs ne sera qu’un début. « Vous mettrez du décor plus tard, vous changerez les angles de caméra, vous changerez les expressions, vous augmenterez l'émotion dans le jeu des acteurs, vous changerez les voix, les costumes, les visages des gens, tout », m'a dit Christian.

L’une des principales motivations de l’intégration de l’IA dans les effets visuels par l’industrie cinématographique est simple : le coût des effets visuels traditionnels. Si vous avez regardé le générique de fin d'un film à succès, vous aurez vu le nombre de techniciens VFX qu'ils emploient. L’IA générative offre un moyen moins coûteux d’obtenir des images d’écran spectaculaires, potentiellement sans perte de qualité.

L’implication est que de nombreux techniciens VFX perdront ainsi leur emploi. Cependant, dans les conversations que j'ai eues avec des personnes occupant ces postes, j'ai l'impression qu'étant hautement qualifiées et au fait de la technologie, elles évolueront probablement vers de nouveaux rôles dans des domaines technologiques émergents.

L'éthique de la technologie de l'IA

Les créatifs médiatiques disposent désormais d’une vaste sélection d’outils d’IA génératifs qui offrent de nouvelles façons de créer des images, du texte, des voix et de la musique. Cependant, un problème clé lié à la technologie doit encore être résolu : ces outils d’IA ont-ils été créés de manière éthique ?

Chaque outil d'IA générative, de ChatGPT à Midjourney en passant par Runway, repose sur un modèle de base qui a été exposé à de grandes quantités de données, souvent provenant d'Internet, afin de l'aider à améliorer ce qu'il fait. Ce processus est appelé « formation ».

Les développeurs d'IA créent d'énormes réservoirs de données de formation en utilisant des « robots d'exploration », des robots qui parcourent Internet à la recherche de matériel utile et téléchargent des milliards de fichiers pour leur propre usage. Cela peut inclure des livres, de la musique, des images, des créations orales et des vidéos, créés par des artistes qui conservent les droits d'auteur sur leur matériel.

Stability.ai a été impliqué dans une action en justice concernant le droit d'auteur devant les tribunaux britanniques. Getty Images, détenteur d'une immense collection d'images et de photographies, poursuit actuellement la société.

Un ancien cadre de Stability.ai, Ed Newton-Rex, a démissionné en novembre 2023 parce que l'entreprise recherchait du contenu créatif pour former le modèle, sans paiement et en affirmant qu'il s'agissait d'un « usage équitable ».

Cameron pense peut-être que les développeurs d’IA gagneront les procès contre eux et poursuivront leur trajectoire technologique. J'ai demandé à Stability.AI si, avant que Cameron ne rejoigne l'entreprise, ils avaient récupéré sur Internet des éléments de sa création pour les utiliser comme données de formation pour leurs modèles de base – et lui ont-ils demandé la permission ?

Leur réponse a été : « Nous ne sommes pas en mesure de commenter la source des données d'entraînement de Stability.AI. »

Les films Terminator de Cameron mettaient en garde contre les effets potentiellement catastrophiques de l'IA malveillante. Pourtant, le réalisateur pense désormais clairement qu’il est désormais assis sur un cheval gagnant.