SketchDynamics: Исследование свободных скетчей для выражения динамических интенций в генерации анимации

SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation

January 28, 2026

Авторы: Boyu Li, Lin-Ping Yuan, Zeyu Wang, Hongbo Fu

cs.AI

Аннотация

Скетчинг предоставляет интуитивный способ передачи динамического замысла при создании анимации (т.е. того, как элементы изменяются во времени и пространстве), что делает его естественным средством для автоматического создания контента. Однако существующие подходы часто ограничивают эскизы фиксированными командными токенами или предопределенными визуальными формами, упуская из виду их свободную природу и центральную роль человека в формировании замысла. Чтобы решить эту проблему, мы представляем парадигму взаимодействия, в которой пользователи передают динамический замысел модели «визуальный вход-текст» посредством свободного скетчинга, реализованную здесь в виде рабочего процесса от раскадровки к моушн-графике. Мы разрабатываем интерфейс и улучшаем его в ходе трехэтапного исследования с участием 24 человек. Исследование показывает, как эскизы передают движение с минимальными затратами, как их присущая неоднозначность требует вовлечения пользователей для уточнения и как эскизы могут визуально направлять процесс доработки видео. Наши результаты раскрывают потенциал взаимодействия скетчей и ИИ для преодоления разрыва между замыслом и результатом и демонстрируют его применимость для 3D-анимации и генерации видео.

English

Sketching provides an intuitive way to convey dynamic intent in animation authoring (i.e., how elements change over time and space), making it a natural medium for automatic content creation. Yet existing approaches often constrain sketches to fixed command tokens or predefined visual forms, overlooking their freeform nature and the central role of humans in shaping intention. To address this, we introduce an interaction paradigm where users convey dynamic intent to a vision-language model via free-form sketching, instantiated here in a sketch storyboard to motion graphics workflow. We implement an interface and improve it through a three-stage study with 24 participants. The study shows how sketches convey motion with minimal input, how their inherent ambiguity requires users to be involved for clarification, and how sketches can visually guide video refinement. Our findings reveal the potential of sketch and AI interaction to bridge the gap between intention and outcome, and demonstrate its applicability to 3D animation and video generation.