CRISP: 平面シーンプリミティブを用いた単眼ビデオからの接触誘導型Real2Sim

CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives

December 16, 2025

著者: Zihan Wang, Jiashun Wang, Jeff Tan, Yiwen Zhao, Jessica Hodgins, Shubham Tulsiani, Deva Ramanan

cs.AI

要旨

本論文では、単眼カメラ映像からシミュレーション可能な人体動作とシーン幾何を復元する手法CRISPを提案する。従来の人物-シーン共同復元手法は、物理法則を考慮しないデータ駆動型事前分布と共同最適化に依存するか、あるいはノイズの多い幾何形状を復元するため、シーン相互作用を伴う動作追跡ポリシーの失敗を招く課題があった。これに対し我々の核心的知見は、深度・法線・フロー情報に対する簡潔なクラスタリング処理により点群復元結果へ平面プリミティブをフィッティングすることで、凸形状でクリーン、かつシミュレーション可能な幾何形状を復元する点にある。相互作用時に遮蔽され得るシーン幾何の復元には、人物-シーン接触モデリングを活用し（例：人物姿勢を利用した椅子座面の遮蔽部分復元）、最終的に強化学習によるヒューマノイド制御器の駆動を通じて物理的に妥当な復元結果を保証する。本手法により、人物中心映像ベンチマーク（EMDB、PROX）における動作追跡失敗率を55.2%から6.9%に低減するとともに、RLシミュレーション処理速度を43%向上させることを実証した。さらにカジュアル撮影動画・インターネット動画・Sora生成動画を含む実世界映像への適用により、CRISPが物理的に妥当な人体動作と相互作用環境を大規模に生成可能であることを示し、ロボティクスやAR/VRにおける実世界-シミュレーション連携応用の大幅な進展を実現する。

English

We introduce CRISP, a method that recovers simulatable human motion and scene geometry from monocular video. Prior work on joint human-scene reconstruction relies on data-driven priors and joint optimization with no physics in the loop, or recovers noisy geometry with artifacts that cause motion tracking policies with scene interactions to fail. In contrast, our key insight is to recover convex, clean, and simulation-ready geometry by fitting planar primitives to a point cloud reconstruction of the scene, via a simple clustering pipeline over depth, normals, and flow. To reconstruct scene geometry that might be occluded during interactions, we make use of human-scene contact modeling (e.g., we use human posture to reconstruct the occluded seat of a chair). Finally, we ensure that human and scene reconstructions are physically-plausible by using them to drive a humanoid controller via reinforcement learning. Our approach reduces motion tracking failure rates from 55.2\% to 6.9\% on human-centric video benchmarks (EMDB, PROX), while delivering a 43\% faster RL simulation throughput. We further validate it on in-the-wild videos including casually-captured videos, Internet videos, and even Sora-generated videos. This demonstrates CRISP's ability to generate physically-valid human motion and interaction environments at scale, greatly advancing real-to-sim applications for robotics and AR/VR.