SketchDynamics: Erforschung freihändiger Skizzen zur Darstellung dynamischer Intentionen in der Animationsgenerierung

SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation

January 28, 2026

papers.authors: Boyu Li, Lin-Ping Yuan, Zeyu Wang, Hongbo Fu

cs.AI

papers.abstract

Skizzen bieten eine intuitive Möglichkeit, dynamische Absichten in der Animationserstellung zu vermitteln (d.h., wie sich Elemente über Zeit und Raum verändern), was sie zu einem natürlichen Medium für die automatische Inhaltserstellung macht. Bisherige Ansätze beschränken Skizzen jedoch oft auf feste Befehlstoken oder vordefinierte visuelle Formen und übersehen dabei ihren freien Charakter sowie die zentrale Rolle des Menschen bei der Formulierung von Absichten. Um dies zu adressieren, führen wir ein Interaktionsparadigma ein, bei dem Nutzer:innen einer Vision-Sprache-Modell dynamische Absichten durch freies Skizzieren vermitteln, hier instanziiert in einem Workflow vom Skizzen-Storyboard zu Motion Graphics. Wir implementieren eine Schnittstelle und verbessern sie durch eine dreistufige Studie mit 24 Teilnehmer:innen. Die Studie zeigt, wie Skizzen Bewegung mit minimalem Aufwand vermitteln, wie ihre inhärente Mehrdeutigkeit die Einbeziehung der Nutzer:innen zur Klärung erfordert und wie Skizzen die Videoverfeinerung visuell lenken können. Unsere Ergebnisse zeigen das Potenzial von Skizzen- und KI-Interaktionen, die Lücke zwischen Absicht und Ergebnis zu überbrücken, und demonstrieren deren Anwendbarkeit auf 3D-Animation und Videogenerierung.

English

Sketching provides an intuitive way to convey dynamic intent in animation authoring (i.e., how elements change over time and space), making it a natural medium for automatic content creation. Yet existing approaches often constrain sketches to fixed command tokens or predefined visual forms, overlooking their freeform nature and the central role of humans in shaping intention. To address this, we introduce an interaction paradigm where users convey dynamic intent to a vision-language model via free-form sketching, instantiated here in a sketch storyboard to motion graphics workflow. We implement an interface and improve it through a three-stage study with 24 participants. The study shows how sketches convey motion with minimal input, how their inherent ambiguity requires users to be involved for clarification, and how sketches can visually guide video refinement. Our findings reveal the potential of sketch and AI interaction to bridge the gap between intention and outcome, and demonstrate its applicability to 3D animation and video generation.