3D制御による移動人物の合成

Synthesizing Moving People with 3D Control

January 19, 2024

著者: Boyi Li, Jathushan Rajasegaran, Yossi Gandelsman, Alexei A. Efros, Jitendra Malik

cs.AI

要旨

本論文では、単一画像から与えられた3Dモーションシーケンスに基づいて人物をアニメーション化するための拡散モデルベースのフレームワークを提案します。我々のアプローチは、以下の2つのコアコンポーネントから構成されます：a) 人体や衣服の見えない部分に関する事前知識を学習すること、b) 適切な衣服とテクスチャを伴った新しい身体ポーズをレンダリングすること。最初の部分では、単一画像から人物の見えない部分を推定するためのインフィリング拡散モデルを学習します。このモデルはテクスチャマップ空間で学習されるため、ポーズや視点に依存しない特性を持ち、サンプル効率が向上します。次に、3D人体ポーズによって制御される拡散ベースのレンダリングパイプラインを開発します。これにより、衣服や髪を含む人物の新しいポーズのリアルなレンダリングと、見えない領域の妥当なインフィリングが可能になります。この分離されたアプローチにより、我々の手法は3Dポーズにおけるターゲットモーションに忠実であり、視覚的類似性において入力画像に忠実な一連の画像を生成することができます。さらに、3D制御により、さまざまな合成カメラ軌道で人物をレンダリングすることが可能です。実験結果から、我々の手法は従来の手法と比較して、長時間のモーションや多様で困難な複雑なポーズの生成において優れた堅牢性を示しています。詳細については、以下のウェブサイトをご覧ください：https://boyiliee.github.io/3DHM.github.io/。

English

In this paper, we present a diffusion model-based framework for animating people from a single image for a given target 3D motion sequence. Our approach has two core components: a) learning priors about invisible parts of the human body and clothing, and b) rendering novel body poses with proper clothing and texture. For the first part, we learn an in-filling diffusion model to hallucinate unseen parts of a person given a single image. We train this model on texture map space, which makes it more sample-efficient since it is invariant to pose and viewpoint. Second, we develop a diffusion-based rendering pipeline, which is controlled by 3D human poses. This produces realistic renderings of novel poses of the person, including clothing, hair, and plausible in-filling of unseen regions. This disentangled approach allows our method to generate a sequence of images that are faithful to the target motion in the 3D pose and, to the input image in terms of visual similarity. In addition to that, the 3D control allows various synthetic camera trajectories to render a person. Our experiments show that our method is resilient in generating prolonged motions and varied challenging and complex poses compared to prior methods. Please check our website for more details: https://boyiliee.github.io/3DHM.github.io/.