Keyframer: Unterstützung des Animationsdesigns durch große Sprachmodelle

Keyframer: Empowering Animation Design using Large Language Models

February 8, 2024

Autoren: Tiffany Tseng, Ruijia Cheng, Jeffrey Nichols

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben das Potenzial, eine Vielzahl von kreativen Bereichen zu beeinflussen, doch die Anwendung von LLMs in der Animation ist bisher wenig erforscht und stellt neue Herausforderungen dar, wie beispielsweise die effektive Beschreibung von Bewegung in natürlicher Sprache durch Benutzer. In diesem Artikel stellen wir Keyframer vor, ein Designtool zur Animation statischer Bilder (SVGs) mit natürlicher Sprache. Basierend auf Interviews mit professionellen Animationsdesignern und -ingenieuren unterstützt Keyframer die Exploration und Verfeinerung von Animationen durch die Kombination von Prompting und direkter Bearbeitung der generierten Ergebnisse. Das System ermöglicht es Benutzern auch, Designvarianten anzufordern, was den Vergleich und die Ideenfindung fördert. Durch eine Nutzerstudie mit 13 Teilnehmern tragen wir eine Charakterisierung der Prompting-Strategien der Benutzer bei, einschließlich einer Taxonomie semantischer Prompt-Typen zur Beschreibung von Bewegung und einem „zerlegten“ Prompting-Stil, bei dem Benutzer ihre Ziele kontinuierlich an die generierten Ergebnisse anpassen. Wir zeigen, wie die direkte Bearbeitung in Kombination mit Prompting eine Iteration über Einmal-Prompting-Schnittstellen hinaus ermöglicht, die in heutigen generativen Tools üblich sind. Durch diese Arbeit schlagen wir vor, wie LLMs ein breites Publikum dazu befähigen könnten, sich mit der Erstellung von Animationen zu beschäftigen.

English

Large language models (LLMs) have the potential to impact a wide range of creative domains, but the application of LLMs to animation is underexplored and presents novel challenges such as how users might effectively describe motion in natural language. In this paper, we present Keyframer, a design tool for animating static images (SVGs) with natural language. Informed by interviews with professional animation designers and engineers, Keyframer supports exploration and refinement of animations through the combination of prompting and direct editing of generated output. The system also enables users to request design variants, supporting comparison and ideation. Through a user study with 13 participants, we contribute a characterization of user prompting strategies, including a taxonomy of semantic prompt types for describing motion and a 'decomposed' prompting style where users continually adapt their goals in response to generated output.We share how direct editing along with prompting enables iteration beyond one-shot prompting interfaces common in generative tools today. Through this work, we propose how LLMs might empower a range of audiences to engage with animation creation.