NIFTY: ガイド付き人間動作合成のためのニューラル物体相互作用フィールド

要旨

シーン内の物体と相互作用する人間のリアルな3Dモーション生成の問題に取り組みます。私たちの鍵となるアイデアは、特定の物体に付随するニューラル相互作用場を作成し、人間の姿勢を入力として与えられた際に有効な相互作用多様体までの距離を出力することです。この相互作用場は、物体条件付き人間モーションディフュージョンモデルのサンプリングを導き、もっともらしい接触とアフォーダンス意味論を促進します。データがほとんど利用できない相互作用をサポートするために、自動化された合成データパイプラインを提案します。このために、限られたモーションキャプチャデータから抽出された相互作用固有のアンカーポーズを用いて、人間の基本的な動きに関する事前知識を持つ事前学習済みモーションモデルをシードします。生成された合成データで訓練されたガイド付きディフュージョンモデルを使用して、いくつかの物体に対する座る動作や持ち上げる動作のリアルなモーションを合成し、モーションの品質とアクションの成功完了において代替アプローチを上回ります。私たちはこのフレームワークをNIFTY: Neural Interaction Fields for Trajectory sYnthesisと呼びます。

English

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.

NIFTY: ガイド付き人間動作合成のためのニューラル物体相互作用フィールド

NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

要旨

Support