SketchDynamics : Exploration des croquis libres pour l'expression d'intentions dynamiques dans la génération d'animations

SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation

January 28, 2026

papers.authors: Boyu Li, Lin-Ping Yuan, Zeyu Wang, Hongbo Fu

cs.AI

papers.abstract

Le croquis offre un moyen intuitif de transmettre une intention dynamique dans la création d'animations (c'est-à-dire comment les éléments évoluent dans le temps et l'espace), ce qui en fait un médium naturel pour la création automatique de contenu. Pourtant, les approches existantes contraignent souvent les croquis à des tokens de commande fixes ou à des formes visuelles prédéfinies, négligeant leur nature libre et le rôle central de l'humain dans la formulation de l'intention. Pour résoudre ce problème, nous introduisons un paradigme d'interaction où les utilisateurs transmettent une intention dynamique à un modèle vision-langage via un croquis libre, matérialisé ici dans un workflow allant du storyboard dessiné aux motion graphics. Nous implémentons une interface et l'améliorons grâce à une étude en trois phases menée avec 24 participants. L'étude montre comment les croquis transmettent le mouvement avec un apport minimal, comment leur ambiguïté inhérente nécessite l'implication des utilisateurs pour clarification, et comment les croquis peuvent guider visuellement le raffinement vidéo. Nos résultats révèlent le potentiel de l'interaction croquis et IA pour combler le fossé entre l'intention et le résultat, et démontrent son applicabilité à l'animation 3D et à la génération vidéo.

English

Sketching provides an intuitive way to convey dynamic intent in animation authoring (i.e., how elements change over time and space), making it a natural medium for automatic content creation. Yet existing approaches often constrain sketches to fixed command tokens or predefined visual forms, overlooking their freeform nature and the central role of humans in shaping intention. To address this, we introduce an interaction paradigm where users convey dynamic intent to a vision-language model via free-form sketching, instantiated here in a sketch storyboard to motion graphics workflow. We implement an interface and improve it through a three-stage study with 24 participants. The study shows how sketches convey motion with minimal input, how their inherent ambiguity requires users to be involved for clarification, and how sketches can visually guide video refinement. Our findings reveal the potential of sketch and AI interaction to bridge the gap between intention and outcome, and demonstrate its applicability to 3D animation and video generation.