Le Keyframer d’Apple peut animer des dessins simples à l’aide de descriptions textuelles

Les chercheurs en apprentissage automatique d’Apple ont développé une application capable d’accepter un dessin simple et une description textuelle pour animer le dessin de la manière souhaitée. Tiffany Tseng, Ruijia Cheng et Jeffrey Nichols ont publié un article décrivant la nouvelle application, appelée Keyframer, sur le site arXiv serveur de préimpression.

Les chercheurs en IA continuent de trouver des LLM capables d’accomplir des tâches qui peuvent ne pas sembler applicables à première vue. Dans ce nouvel effort, les chercheurs d’Apple ont découvert que le LLM GPT-4 est capable d’accepter à la fois un simple dessin (au format SVG) et une invite de texte décrivant une animation souhaitée pour le dessin, puis de produire une animation qui exécute le dessin. instructions.

A titre d’exemple, l’application peut accepter une image d’une fusée posée sur une rampe de lancement. Le texte d’accompagnement peut se lire comme suit : « Faites lancer la fusée dans le ciel avec un faisceau de feu soufflant en dessous ». L’application tentera ensuite d’animer la fusée pour correspondre à l’invite.

Les chercheurs expliquent que le LLM peut être utilisé pour animer le dessin en imaginant d’abord ce qui doit être fait puis en générant du code d’animation CSS. En conséquence, l’animation peut être portée sur d’autres appareils et le code peut être modifié pour ajouter ou supprimer manuellement une animation supplémentaire. De nouvelles invites peuvent également être ajoutées.

Ils notent que Keyframe prend également en charge l’animation itérative, dans laquelle les utilisateurs peuvent continuer à ajouter des invites pour améliorer le produit fini après la génération de chaque animation, un moyen de produire le projet animé souhaité dans un court laps de temps.

Dans leur article, les chercheurs suggèrent que Keyframer pourrait préparer le terrain pour transformer le paysage de l’animation : si Apple le rendait disponible sur toutes ses plates-formes matérielles, par exemple, les utilisateurs n’auraient plus besoin d’autres applications d’animation, et certains pourraient l’utiliser pour créer des créations professionnelles. produits tels que des publicités. Il permet également aux non-professionnels de créer des produits de qualité professionnelle avec un effort limité.