Keyframer : Renforcer la conception d'animation grâce aux modèles de langage à grande échelle

Keyframer: Empowering Animation Design using Large Language Models

February 8, 2024

Auteurs: Tiffany Tseng, Ruijia Cheng, Jeffrey Nichols

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont le potentiel d'influencer un large éventail de domaines créatifs, mais leur application à l'animation reste peu explorée et présente des défis inédits, tels que la manière dont les utilisateurs pourraient décrire efficacement le mouvement en langage naturel. Dans cet article, nous présentons Keyframer, un outil de conception pour animer des images statiques (SVGs) à l'aide du langage naturel. Inspiré par des entretiens avec des designers et ingénieurs professionnels de l'animation, Keyframer facilite l'exploration et l'affinement des animations grâce à la combinaison de prompts et à l'édition directe des résultats générés. Le système permet également aux utilisateurs de demander des variantes de conception, favorisant la comparaison et l'idéation. À travers une étude utilisateur menée auprès de 13 participants, nous proposons une caractérisation des stratégies de prompting, incluant une taxonomie des types de prompts sémantiques pour décrire le mouvement et un style de prompting « décomposé » où les utilisateurs adaptent continuellement leurs objectifs en réponse aux résultats générés. Nous montrons comment l'édition directe, combinée au prompting, permet une itération allant au-delà des interfaces de prompting en une seule étape, courantes dans les outils génératifs actuels. Par ce travail, nous explorons comment les LLMs pourraient permettre à un large public de s'engager dans la création d'animations.

English

Large language models (LLMs) have the potential to impact a wide range of creative domains, but the application of LLMs to animation is underexplored and presents novel challenges such as how users might effectively describe motion in natural language. In this paper, we present Keyframer, a design tool for animating static images (SVGs) with natural language. Informed by interviews with professional animation designers and engineers, Keyframer supports exploration and refinement of animations through the combination of prompting and direct editing of generated output. The system also enables users to request design variants, supporting comparison and ideation. Through a user study with 13 participants, we contribute a characterization of user prompting strategies, including a taxonomy of semantic prompt types for describing motion and a 'decomposed' prompting style where users continually adapt their goals in response to generated output.We share how direct editing along with prompting enables iteration beyond one-shot prompting interfaces common in generative tools today. Through this work, we propose how LLMs might empower a range of audiences to engage with animation creation.