SketchDynamics: Explorando Esboços de Forma Livre para Expressão de Intenção Dinâmica na Geração de Animações
SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation
January 28, 2026
Autores: Boyu Li, Lin-Ping Yuan, Zeyu Wang, Hongbo Fu
cs.AI
Resumo
O esboço oferece uma forma intuitiva de transmitir intenção dinâmica na criação de animações (ou seja, como os elementos mudam ao longo do tempo e do espaço), tornando-o um meio natural para a criação automática de conteúdo. No entanto, as abordagens existentes frequentemente restringem os esboços a tokens de comando fixos ou formas visuais predefinidas, negligenciando sua natureza livre e o papel central dos seres humanos na moldagem da intenção. Para resolver isso, introduzimos um paradigma de interação no qual os usuários transmitem intenção dinâmica a um modelo de visão e linguagem por meio de esboços livres, instanciado aqui em um fluxo de trabalho de storyboard esboçado para motion graphics. Implementamos uma interface e a aprimoramos por meio de um estudo em três etapas com 24 participantes. O estudo mostra como os esboços transmitem movimento com entrada mínima, como sua ambiguidade inerente exige que os usuários se envolvam para esclarecimento e como os esboços podem orientar visualmente o refinamento do vídeo. Nossas descobertas revelam o potencial da interação entre esboço e IA para preencher a lacuna entre intenção e resultado, e demonstram sua aplicabilidade na geração de animações 3D e vídeos.
English
Sketching provides an intuitive way to convey dynamic intent in animation authoring (i.e., how elements change over time and space), making it a natural medium for automatic content creation. Yet existing approaches often constrain sketches to fixed command tokens or predefined visual forms, overlooking their freeform nature and the central role of humans in shaping intention. To address this, we introduce an interaction paradigm where users convey dynamic intent to a vision-language model via free-form sketching, instantiated here in a sketch storyboard to motion graphics workflow. We implement an interface and improve it through a three-stage study with 24 participants. The study shows how sketches convey motion with minimal input, how their inherent ambiguity requires users to be involved for clarification, and how sketches can visually guide video refinement. Our findings reveal the potential of sketch and AI interaction to bridge the gap between intention and outcome, and demonstrate its applicability to 3D animation and video generation.