SketchDynamics: Esplorare Schizzi a Mano Libera per l'Espressione di Intenti Dinamici nella Generazione di Animazioni
SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation
January 28, 2026
Autori: Boyu Li, Lin-Ping Yuan, Zeyu Wang, Hongbo Fu
cs.AI
Abstract
La creazione di schizzi fornisce un modo intuitivo per comunicare l'intento dinamico nell'authoring di animazioni (ovvero come gli elementi cambiano nel tempo e nello spazio), rendendola un mezzo naturale per la creazione automatica di contenuti. Tuttavia, gli approcci esistenti spesso vincolano gli schizzi a token di comando fissi o a forme visive predefinite, trascurando la loro natura libera e il ruolo centrale dell'uomo nel plasmare l'intenzione. Per affrontare questo problema, introduciamo un paradigma di interazione in cui gli utenti comunicano l'intento dinamico a un modello visione-linguaggio tramite schizzi liberi, qui istanziato in un workflow che va dallo storyboard schizzato alla grafica in movimento. Implementiamo un'interfaccia e la miglioriamo attraverso uno studio in tre fasi con 24 partecipanti. Lo studio mostra come gli schizzi comunichino il movimento con un input minimo, come la loro ambiguità intrinseca richieda il coinvolgimento degli utenti per la chiarificazione e come possano guidare visivamente l'affinamento del video. Le nostre scoperte rivelano il potenziale dell'interazione tra schizzo e IA per colmare il divario tra intenzione e risultato e ne dimostrano l'applicabilità all'animazione 3D e alla generazione video.
English
Sketching provides an intuitive way to convey dynamic intent in animation authoring (i.e., how elements change over time and space), making it a natural medium for automatic content creation. Yet existing approaches often constrain sketches to fixed command tokens or predefined visual forms, overlooking their freeform nature and the central role of humans in shaping intention. To address this, we introduce an interaction paradigm where users convey dynamic intent to a vision-language model via free-form sketching, instantiated here in a sketch storyboard to motion graphics workflow. We implement an interface and improve it through a three-stage study with 24 participants. The study shows how sketches convey motion with minimal input, how their inherent ambiguity requires users to be involved for clarification, and how sketches can visually guide video refinement. Our findings reveal the potential of sketch and AI interaction to bridge the gap between intention and outcome, and demonstrate its applicability to 3D animation and video generation.