Keyframer: Animatieontwerp versterken met behulp van grote taalmodellen
Keyframer: Empowering Animation Design using Large Language Models
February 8, 2024
Auteurs: Tiffany Tseng, Ruijia Cheng, Jeffrey Nichols
cs.AI
Samenvatting
Grote taalmodellen (LLMs) hebben het potentieel om een breed scala aan creatieve domeinen te beïnvloeden, maar de toepassing van LLMs op animatie is onderbelicht en brengt nieuwe uitdagingen met zich mee, zoals hoe gebruikers effectief beweging in natuurlijke taal kunnen beschrijven. In dit artikel presenteren we Keyframer, een ontwerptool voor het animeren van statische afbeeldingen (SVG's) met natuurlijke taal. Geïnformeerd door interviews met professionele animatieontwerpers en ingenieurs, ondersteunt Keyframer het verkennen en verfijnen van animaties door de combinatie van prompting en directe bewerking van gegenereerde output. Het systeem stelt gebruikers ook in staat om ontwerpvarianten aan te vragen, wat vergelijking en ideevorming ondersteunt. Door een gebruikersstudie met 13 deelnemers dragen we een karakterisering van gebruikerspromptstrategieën bij, inclusief een taxonomie van semantische prompttypen voor het beschrijven van beweging en een 'gedecomponeerde' promptstijl waarbij gebruikers hun doelen voortdurend aanpassen in reactie op gegenereerde output. We delen hoe directe bewerking samen met prompting iteratie mogelijk maakt die verder gaat dan de eenmalige prompting-interfaces die gebruikelijk zijn in generatieve tools van vandaag. Door dit werk stellen we voor hoe LLMs een breed publiek kunnen in staat stellen zich bezig te houden met het creëren van animaties.
English
Large language models (LLMs) have the potential to impact a wide range of
creative domains, but the application of LLMs to animation is underexplored and
presents novel challenges such as how users might effectively describe motion
in natural language. In this paper, we present Keyframer, a design tool for
animating static images (SVGs) with natural language. Informed by interviews
with professional animation designers and engineers, Keyframer supports
exploration and refinement of animations through the combination of prompting
and direct editing of generated output. The system also enables users to
request design variants, supporting comparison and ideation. Through a user
study with 13 participants, we contribute a characterization of user prompting
strategies, including a taxonomy of semantic prompt types for describing motion
and a 'decomposed' prompting style where users continually adapt their goals in
response to generated output.We share how direct editing along with prompting
enables iteration beyond one-shot prompting interfaces common in generative
tools today. Through this work, we propose how LLMs might empower a range of
audiences to engage with animation creation.