DrawingSpinUp: 単一のキャラクターの描画からの3Dアニメーション

DrawingSpinUp: 3D Animation from Single Character Drawings

September 13, 2024

著者: Jie Zhou, Chufeng Xiao, Miu-Ling Lam, Hongbo Fu

cs.AI

要旨

様々なキャラクターの絵をアニメーション化することは、魅力的なビジュアルコンテンツの作成作業です。単一のキャラクターの絵が与えられた場合、既存のアニメーション手法は平面の2Dモーションに限定されており、したがって3D効果が欠けています。代替案として、キャラクターの絵から3Dモデルをプロキシとして再構築し、その上に3Dモーションデータを再ターゲットすることが考えられます。しかし、既存の画像から3Dへの手法は、外観やジオメトリの点でアマチュアのキャラクターの絵にはうまく適用できませんでした。キャラクターの絵に一般的に存在する輪郭線が、その視点に依存するため、テクスチャ合成において著しい曖昧さをもたらすことが観察されました。さらに、単一の線で表現される細い領域（例：棒人形の細い手足）は、その繊細な構造のために再構築が困難です。これらの問題に対処するため、私たちは新しいシステムであるDrawingSpinUpを提案し、キャラクターの絵に命を吹き込み、自由にスピンアップし、跳躍し、ヒップホップダンスさえ披露できるようにします。外観の改善には、最初に視点に依存する輪郭線を除去し、その後、再構築されたキャラクターに再レンダリングするための取り除き-復元戦略を採用します。ジオメトリの改善には、単一の線の輪郭で表される細い構造を洗練するために、骨格ベースの細線化変形アルゴリズムを開発します。実験評価と知覚ユーザースタディにより、提案された手法が既存の2Dおよび3Dアニメーション手法を凌駕し、単一のキャラクターの絵から高品質な3Dアニメーションを生成することが示されました。コードと生成されたアニメーションについては、弊社のプロジェクトページ（https://lordliang.github.io/DrawingSpinUp）をご参照ください。

English

Animating various character drawings is an engaging visual content creation task. Given a single character drawing, existing animation methods are limited to flat 2D motions and thus lack 3D effects. An alternative solution is to reconstruct a 3D model from a character drawing as a proxy and then retarget 3D motion data onto it. However, the existing image-to-3D methods could not work well for amateur character drawings in terms of appearance and geometry. We observe the contour lines, commonly existing in character drawings, would introduce significant ambiguity in texture synthesis due to their view-dependence. Additionally, thin regions represented by single-line contours are difficult to reconstruct (e.g., slim limbs of a stick figure) due to their delicate structures. To address these issues, we propose a novel system, DrawingSpinUp, to produce plausible 3D animations and breathe life into character drawings, allowing them to freely spin up, leap, and even perform a hip-hop dance. For appearance improvement, we adopt a removal-then-restoration strategy to first remove the view-dependent contour lines and then render them back after retargeting the reconstructed character. For geometry refinement, we develop a skeleton-based thinning deformation algorithm to refine the slim structures represented by the single-line contours. The experimental evaluations and a perceptual user study show that our proposed method outperforms the existing 2D and 3D animation methods and generates high-quality 3D animations from a single character drawing. Please refer to our project page (https://lordliang.github.io/DrawingSpinUp) for the code and generated animations.