PhyGenHOI: 物理現象を考慮した動的な人-物体間インタラクションの4次元生成

要旨

物理的に正確で視覚的に忠実な4D人間-物体インタラクション(HOI)の生成タスクに取り組む。3Dガウシアンスプラット(3DGS)として表現された静的な3D人間と対象物体が与えられたとき、与えられた入力テキストに従って、人間がパンチやキックといった動作を通じて物体と能動的に関わる動的なシーンを合成することを目的とする。そのために、生成的な人間動作と明示的な物理物体シミュレーションを結合する新しいフレームワークPhyGenHOIを導入する。人間を動作拡散モデル(MDM)によって駆動される意味エージェントとして、物体を物質点法(MPM)によってシミュレーションされる物理エージェントとしてモデル化し、3Dガウシアンを統一された微分可能な表現として利用する。それらのインタラクションは、以下の3つの連携メカニズムによって監督される：(1) 生成動作を時間的に同期させて物体に介入させる窓付き引力損失、(2) 衝突時に物理的に一貫した運動量伝達を引き起こす接触駆動再シミュレーションステップ、(3) ビデオベースの事前情報を注入して接触の忠実度を高めるマスク動画SDS目的関数。実験により、PhyGenHOIは多様な動作、人間、物体にわたって物理的に一貫した4D HOIを生成し、ベースラインを凌駕することが示された。プロジェクトページと動画: https://omerbenishu.github.io/PhyGenHOI/

English

We address the task of generating physically accurate and visually faithful 4D Human-Object Interaction (HOI). Given a static 3D human and target object represented as 3D Gaussian Splats (3DGS), our goal is to synthesize dynamic scenes where the human actively engages with the object through actions, such as punching or kicking, in accordance with a given input text. To this end, we introduce PhyGenHOI, a novel framework that couples generative human motion with an explicit physical object simulation. We model the human as a semantic agent driven by a Motion Diffusion Model (MDM) and the object as a physical agent simulated via the Material Point Method (MPM), utilizing 3D Gaussians as a unified, differentiable representation. We supervise their interaction through three coupled mechanisms: (1) A Windowed Attraction Loss that temporally synchronizes generative motion to intercept the object; (2) A Contact-Driven Re-simulation step that triggers physically consistent momentum transfer upon impact; and (3) A Masked Video-SDS objective that injects video-based priors to enhance contact fidelity. Experiments show PhyGenHOI generates physically consistent 4D HOI across diverse actions, humans, and objects, outperforming baselines. Project page and videos: https://omerbenishu.github.io/PhyGenHOI/