Un algorithme basé sur l'IA permet une transformation personnalisée de l'âge des visages humains

Des chercheurs de l'Université de Caroline du Nord à Chapel Hill et de l'Université du Maryland ont récemment développé MyTimeMachine (MyTM), une nouvelle méthode basée sur l'IA pour une transformation personnalisée de l'âge qui peut rajeunir ou vieillir les visages humains dans les images ou les vidéos, en tenant compte des facteurs subjectifs influençant le vieillissement. .

Cet algorithme, présenté dans un article publié sur le arXiv serveur de préimpression, pourrait être utilisé pour élargir ou améliorer les fonctionnalités des plates-formes de retouche d'images destinées aux consommateurs, mais pourrait également être un outil précieux pour les industries du cinéma, de la télévision et du divertissement.

« Les techniques de vieillissement virtuel sont largement utilisées dans les effets visuels (VFX) des films, mais elles nécessitent de bonnes prothèses et un bon maquillage, souvent fastidieux et peu pratiques à porter régulièrement par les acteurs pendant le tournage », a déclaré Roni Sengupta, le chercheur qui a supervisé l'étude, à Tech Xplore. .

« L'inspiration pour ce travail est venue du film 'The Irishman' de 2019, qui utilisait des effets visuels révolutionnaires pour faire vieillir numériquement les acteurs. Bien que visuellement impressionnant, le processus nécessitait un effort manuel important, des coûts élevés et des ressources informatiques substantielles, limitant son utilisation plus large. « .

S'il existe désormais également des filtres de réseaux sociaux qui peuvent vieillir les utilisateurs ou les rajeunir, les effets qu'ils produisent sont souvent trop simplistes, presque semblables à ceux d'un dessin animé. Par exemple, ils peuvent simplement flouter les visages pour les faire paraître plus jeunes ou ajouter des rides pour les faire paraître plus âgés.

« Le vieillissement réel transforme la forme du visage ainsi que sa texture et dépend souvent fortement de divers facteurs tels que l'origine ethnique, le sexe, la génétique, le mode de vie et l'état de santé », a expliqué Sengupta. « Cela nous a motivé à nous demander : les transformations liées à l'âge pourraient-elles être rendues plus accessibles, entièrement automatiques et hautement réalistes ? Pour résoudre ce problème, nous avons développé une méthode basée sur un réseau neuronal qui simule toute la durée de vie d'une personne, de la jeunesse à la vieillesse, en utilisant uniquement un ensemble limité de selfies.

MyTM, le nouveau modèle de transformation de l'âge créé par les chercheurs, est basé sur un réseau neuronal artificiel génératif. Cet algorithme a été formé pour simuler l’ensemble de la trajectoire de vieillissement de personnes spécifiques, produisant des images réalistes à différentes étapes de la vie.

« En utilisant environ 50 images d'entrée, couvrant par exemple les 20 dernières années, MyTM exploite la modélisation générative pour prédire des progressions réalistes du vieillissement de 0 à 100 ans », a déclaré Luchao Qi, l'étudiant diplômé dirigeant le projet. « Contrairement aux méthodes traditionnelles qui s'appuient sur de vastes ensembles de données pour obtenir des résultats plausibles, notre approche permet d'obtenir des changements précis, réalistes et personnalisés liés au vieillissement, comme la texture de la peau et la structure du visage, en exploitant uniquement quelques images de cette personne. »

Lors des premiers tests, le nouveau modèle développé par Qi, Sengupta et leurs collègues s'est avéré produire des simulations hautement réalistes et personnalisées montrant les visages de personnes spécifiques à différentes étapes de leur vie. Notamment, MyTM tient également compte des facteurs externes qui peuvent influencer le vieillissement, tels que l'origine ethnique, les choix de mode de vie et la génétique.

« La réalisation la plus notable de MyTM est sa capacité à produire des simulations de vieillissement cohérentes et réalistes à partir d'environ 50 selfies », a déclaré Qi. « Une application pratique de ce modèle pourrait concerner le cinéma et les effets visuels, car il pourrait être utilisé pour rationaliser le vieillissement et le vieillissement dans les films, réduisant ainsi les coûts et les délais tout en garantissant des résultats de haute qualité.

« Actuellement, la plupart des films à petit et moyen budget ont des effets visuels de vieillissement médiocres, et les films à gros budget nécessitent des prothèses lourdes ou un post-traitement manuel. Notre méthode peut rendre les effets de vieillissement accessibles et de haute qualité pour tous les types de créateurs de contenu. et les cinéastes. »

MyTM pourrait également permettre la création de contenus personnalisés plus réalistes, par exemple en améliorant les filtres pour les réseaux sociaux et en produisant de meilleures simulations pour les campagnes de marketing ou de sensibilisation à la santé. Enfin, le modèle pourrait être utilisé pour créer de nouvelles plateformes conçues pour offrir un soutien émotionnel aux personnes endeuillées par la perte d’un être cher.

« Nous avons constaté que nos tentatives passées de transformation de l'âge avaient reçu plusieurs demandes de mères en deuil et de membres de leur famille », a déclaré Sengupta. « Dans nos prochaines études, nous prévoyons de réduire davantage les exigences d'entrée de MyTM. Actuellement, le modèle nécessite environ 50 images, mais nous prévoyons d'affiner le système pour qu'il fonctionne efficacement avec seulement une poignée d'images, tout en conservant leur qualité. »

Les chercheurs prévoient également d'améliorer l'efficacité et la rapidité de leur système, car cela faciliterait son utilisation dans des contextes dynamiques, par exemple pour le vieillissement ou le vieillissement d'avatars et de visages virtuels en direct dans les médias interactifs. Cela pourrait être réalisé en utilisant des algorithmes génératifs plus avancés, tels que des modèles de diffusion.