Keyframer: Potenziare la Progettazione di Animazioni con Modelli Linguistici di Grande Scala
Keyframer: Empowering Animation Design using Large Language Models
February 8, 2024
Autori: Tiffany Tseng, Ruijia Cheng, Jeffrey Nichols
cs.AI
Abstract
I modelli linguistici di grandi dimensioni (LLM) hanno il potenziale di influenzare un'ampia gamma di domini creativi, ma l'applicazione degli LLM all'animazione è ancora poco esplorata e presenta nuove sfide, come il modo in cui gli utenti potrebbero descrivere efficacemente il movimento in linguaggio naturale. In questo articolo, presentiamo Keyframer, uno strumento di progettazione per animare immagini statiche (SVG) con il linguaggio naturale. Basandoci su interviste con designer e ingegneri professionisti dell'animazione, Keyframer supporta l'esplorazione e il perfezionamento delle animazioni attraverso la combinazione di prompt e la modifica diretta dell'output generato. Il sistema consente inoltre agli utenti di richiedere varianti di design, favorendo il confronto e l'ideazione. Attraverso uno studio con 13 partecipanti, forniamo una caratterizzazione delle strategie di prompting degli utenti, inclusa una tassonomia dei tipi di prompt semantici per descrivere il movimento e uno stile di prompting "scomposto" in cui gli utenti adattano continuamente i loro obiettivi in risposta all'output generato. Condividiamo come la modifica diretta insieme al prompting consenta l'iterazione oltre le interfacce di prompting one-shot comuni negli strumenti generativi odierni. Attraverso questo lavoro, proponiamo come gli LLM possano permettere a un'ampia gamma di utenti di impegnarsi nella creazione di animazioni.
English
Large language models (LLMs) have the potential to impact a wide range of
creative domains, but the application of LLMs to animation is underexplored and
presents novel challenges such as how users might effectively describe motion
in natural language. In this paper, we present Keyframer, a design tool for
animating static images (SVGs) with natural language. Informed by interviews
with professional animation designers and engineers, Keyframer supports
exploration and refinement of animations through the combination of prompting
and direct editing of generated output. The system also enables users to
request design variants, supporting comparison and ideation. Through a user
study with 13 participants, we contribute a characterization of user prompting
strategies, including a taxonomy of semantic prompt types for describing motion
and a 'decomposed' prompting style where users continually adapt their goals in
response to generated output.We share how direct editing along with prompting
enables iteration beyond one-shot prompting interfaces common in generative
tools today. Through this work, we propose how LLMs might empower a range of
audiences to engage with animation creation.