Keyframer: Potenciando el Diseño de Animaciones mediante Modelos de Lenguaje a Gran Escala
Keyframer: Empowering Animation Design using Large Language Models
February 8, 2024
Autores: Tiffany Tseng, Ruijia Cheng, Jeffrey Nichols
cs.AI
Resumen
Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) tienen el potencial de impactar una amplia gama de dominios creativos, pero la aplicación de LLMs a la animación está poco explorada y presenta desafíos novedosos, como cómo los usuarios podrían describir efectivamente el movimiento en lenguaje natural. En este artículo, presentamos Keyframer, una herramienta de diseño para animar imágenes estáticas (SVGs) con lenguaje natural. Basado en entrevistas con diseñadores de animación e ingenieros profesionales, Keyframer facilita la exploración y refinamiento de animaciones mediante la combinación de indicaciones (prompts) y la edición directa de los resultados generados. El sistema también permite a los usuarios solicitar variantes de diseño, apoyando la comparación y la ideación. A través de un estudio de usuarios con 13 participantes, contribuimos con una caracterización de las estrategias de indicación de los usuarios, incluyendo una taxonomía de tipos de indicaciones semánticas para describir el movimiento y un estilo de indicación 'descompuesta' donde los usuarios adaptan continuamente sus objetivos en respuesta a los resultados generados. Compartimos cómo la edición directa junto con las indicaciones permite iterar más allá de las interfaces de indicación única comunes en las herramientas generativas actuales. A través de este trabajo, proponemos cómo los LLMs podrían empoderar a una variedad de audiencias para involucrarse en la creación de animaciones.
English
Large language models (LLMs) have the potential to impact a wide range of
creative domains, but the application of LLMs to animation is underexplored and
presents novel challenges such as how users might effectively describe motion
in natural language. In this paper, we present Keyframer, a design tool for
animating static images (SVGs) with natural language. Informed by interviews
with professional animation designers and engineers, Keyframer supports
exploration and refinement of animations through the combination of prompting
and direct editing of generated output. The system also enables users to
request design variants, supporting comparison and ideation. Through a user
study with 13 participants, we contribute a characterization of user prompting
strategies, including a taxonomy of semantic prompt types for describing motion
and a 'decomposed' prompting style where users continually adapt their goals in
response to generated output.We share how direct editing along with prompting
enables iteration beyond one-shot prompting interfaces common in generative
tools today. Through this work, we propose how LLMs might empower a range of
audiences to engage with animation creation.