誰でもアニメート2：環境適応を伴う高精細キャラクター画像アニメーション

Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance

February 10, 2025

著者: Li Hu, Guangyuan Wang, Zhen Shen, Xin Gao, Dechao Meng, Lian Zhuo, Peng Zhang, Bang Zhang, Liefeng Bo

cs.AI

要旨

最近の拡散モデルに基づくキャラクター画像アニメーション手法、例えばAnimate Anyoneは、一貫性があり汎用性のあるキャラクターアニメーションを生成する点で大きな進展を遂げています。しかしながら、これらの手法はキャラクターとその環境との合理的な関連性を生み出すことに失敗しています。この制限に対処するために、環境に適応したキャラクターアニメーションを目指すAnimate Anyone 2を提案します。ソースビデオからの動きの信号を抽出するだけでなく、環境表現を条件付き入力として取得します。環境は、キャラクターを除いた領域として定式化され、当該領域にキャラクターを生成し、環境コンテキストとの整合性を維持します。キャラクターと環境との関係をより効果的に特徴付ける形状に依存しないマスク戦略を提案します。さらに、オブジェクト間の相互作用の忠実度を向上させるために、オブジェクトガイダーを活用して相互作用するオブジェクトの特徴を抽出し、特徴の注入には空間ブレンディングを使用します。さらに、より多様な動きパターンを処理できるようにするポーズ調整戦略を導入します。実験結果は、提案手法の優れた性能を示しています。

English

Recent character image animation methods based on diffusion models, such as Animate Anyone, have made significant progress in generating consistent and generalizable character animations. However, these approaches fail to produce reasonable associations between characters and their environments. To address this limitation, we introduce Animate Anyone 2, aiming to animate characters with environment affordance. Beyond extracting motion signals from source video, we additionally capture environmental representations as conditional inputs. The environment is formulated as the region with the exclusion of characters and our model generates characters to populate these regions while maintaining coherence with the environmental context. We propose a shape-agnostic mask strategy that more effectively characterizes the relationship between character and environment. Furthermore, to enhance the fidelity of object interactions, we leverage an object guider to extract features of interacting objects and employ spatial blending for feature injection. We also introduce a pose modulation strategy that enables the model to handle more diverse motion patterns. Experimental results demonstrate the superior performance of the proposed method.