DreamHOI: 拡散事前情報を用いた3D人物-物体相互作用の主体駆動生成

DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors

September 12, 2024

著者: Thomas Hanwen Zhu, Ruining Li, Tomas Jakab

cs.AI

要旨

DreamHOIを提案します。これは、人間と物体の相互作用（HOIs）をゼロショットで合成する革新的な手法であり、3D人間モデルがテキスト記述に基づいて任意の物体とリアルに相互作用することを可能にします。このタスクは、実世界の物体のさまざまなカテゴリや幾何学、および多様なHOIsを包括するデータセットの希少性によって複雑化されます。豊富なデータの必要性を回避するために、数十億の画像キャプションペアでトレーニングされたテキストから画像への拡散モデルを活用しています。これらのモデルから得られたスコア蒸留サンプリング（SDS）勾配を使用して、スキン付き人間メッシュの表現を最適化します。これらの勾配は画像空間の編集を予測します。ただし、画像空間の勾配を複雑な表現パラメータに直接逆伝播させることは、その勾配の局所性のために効果がありません。この問題を克服するために、スキン付きメッシュの二重暗黙的-明示的表現を導入し、（暗黙的な）ニューラル放射輝度場（NeRFs）と（明示的な）スケルトン駆動メッシュ表現を組み合わせます。最適化中に、暗黙的形式と明示的形式の間を移行し、NeRF生成を確立しながらメッシュ表現を洗練します。我々のアプローチの有効性を実証するために、幅広い実験を通じて検証し、リアルなHOIsを生成する能力を示しました。

English

We present DreamHOI, a novel method for zero-shot synthesis of human-object interactions (HOIs), enabling a 3D human model to realistically interact with any given object based on a textual description. This task is complicated by the varying categories and geometries of real-world objects and the scarcity of datasets encompassing diverse HOIs. To circumvent the need for extensive data, we leverage text-to-image diffusion models trained on billions of image-caption pairs. We optimize the articulation of a skinned human mesh using Score Distillation Sampling (SDS) gradients obtained from these models, which predict image-space edits. However, directly backpropagating image-space gradients into complex articulation parameters is ineffective due to the local nature of such gradients. To overcome this, we introduce a dual implicit-explicit representation of a skinned mesh, combining (implicit) neural radiance fields (NeRFs) with (explicit) skeleton-driven mesh articulation. During optimization, we transition between implicit and explicit forms, grounding the NeRF generation while refining the mesh articulation. We validate our approach through extensive experiments, demonstrating its effectiveness in generating realistic HOIs.