SketchDynamics: Verkenning van Vrije-Vorm Schetsen voor Dynamische Intentie-Expressie in Animatiegeneratie

SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation

January 28, 2026

Auteurs: Boyu Li, Lin-Ping Yuan, Zeyu Wang, Hongbo Fu

cs.AI

Samenvatting

Schetsen biedt een intuïtieve manier om dynamische intentie over te brengen bij het ontwerpen van animaties (d.w.z. hoe elementen in de loop van de tijd en ruimte veranderen), wat het een natuurlijk medium maakt voor automatische contentcreatie. Toch beperken bestaande methoden schetsen vaak tot vaste commando-tokens of vooraf gedefinieerde visuele vormen, waarbij hun vrije vorm en de centrale rol van de mens bij het vormgeven van intentie over het hoofd worden gezien. Om dit aan te pakken, introduceren we een interactieparadigma waarbij gebruikers dynamische intentie overbrengen naar een vision-language-model via vrij-vorm schetsen, hier geconcretiseerd in een workflow van schets-storyboard naar motion graphics. We implementeren een interface en verbeteren deze via een driestappenstudie met 24 deelnemers. De studie toont aan hoe schetsen beweging overbrengen met minimale input, hoe hun inherente ambiguïteit gebruikers vereist om betrokken te zijn voor verduidelijking, en hoe schetsen visueel kunnen sturen bij het verfijnen van video. Onze bevindingen onthullen het potentieel van de interactie tussen schetsen en AI om de kloof tussen intentie en resultaat te overbruggen, en demonstreren de toepasbaarheid ervan op 3D-animatie en videogeneratie.

English

Sketching provides an intuitive way to convey dynamic intent in animation authoring (i.e., how elements change over time and space), making it a natural medium for automatic content creation. Yet existing approaches often constrain sketches to fixed command tokens or predefined visual forms, overlooking their freeform nature and the central role of humans in shaping intention. To address this, we introduce an interaction paradigm where users convey dynamic intent to a vision-language model via free-form sketching, instantiated here in a sketch storyboard to motion graphics workflow. We implement an interface and improve it through a three-stage study with 24 participants. The study shows how sketches convey motion with minimal input, how their inherent ambiguity requires users to be involved for clarification, and how sketches can visually guide video refinement. Our findings reveal the potential of sketch and AI interaction to bridge the gap between intention and outcome, and demonstrate its applicability to 3D animation and video generation.