SketchDynamics: アニメーション生成における動的意図表現のためのフリーハンドスケッチの探求

SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation

January 28, 2026

著者: Boyu Li, Lin-Ping Yuan, Zeyu Wang, Hongbo Fu

cs.AI

要旨

スケッチは、アニメーション制作において動的な意図（すなわち、要素が時間と空間においてどのように変化するか）を直感的に伝える手段を提供し、自動コンテンツ生成における自然な媒体となっている。しかし、既存の手法では、スケッチを固定されたコマンドトークンや事前定義された視覚的形式に制約することが多く、その自由形式の本質と、意図を形成する上での人間の中心的な役割を見過ごしている。この問題に対処するため、我々は、ユーザーが自由形式のスケッチを通じて動的意図を視覚言語モデルに伝えるインタラクションパラダイムを提案する。ここでは、スケッチストーリーボードからモーショングラフィックスへのワークフローとして具体化した。我々はインターフェースを実装し、24名の参加者による3段階の研究を通じてそれを改善した。本研究は、スケッチが最小限の入力で動きを如何に伝えるか、その内在する曖昧さが如何に解釈の明確化のためにユーザーの関与を必要とするか、そしてスケッチが如何に視覚的に映像の洗練を導くかを示す。我々の知見は、スケッチとAIのインタラクションが意図と結果の間の隔たりを埋める可能性を明らかにし、3Dアニメーションや映像生成への応用可能性を実証するものである。

English

Sketching provides an intuitive way to convey dynamic intent in animation authoring (i.e., how elements change over time and space), making it a natural medium for automatic content creation. Yet existing approaches often constrain sketches to fixed command tokens or predefined visual forms, overlooking their freeform nature and the central role of humans in shaping intention. To address this, we introduce an interaction paradigm where users convey dynamic intent to a vision-language model via free-form sketching, instantiated here in a sketch storyboard to motion graphics workflow. We implement an interface and improve it through a three-stage study with 24 participants. The study shows how sketches convey motion with minimal input, how their inherent ambiguity requires users to be involved for clarification, and how sketches can visually guide video refinement. Our findings reveal the potential of sketch and AI interaction to bridge the gap between intention and outcome, and demonstrate its applicability to 3D animation and video generation.