CRISP: Kontaktgeführte Real2Sim aus monokularen Videos mit planaren Szenenprimitiven
CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives
December 16, 2025
papers.authors: Zihan Wang, Jiashun Wang, Jeff Tan, Yiwen Zhao, Jessica Hodgins, Shubham Tulsiani, Deva Ramanan
cs.AI
papers.abstract
Wir stellen CRISP vor, eine Methode zur Wiederherstellung simulierbarer menschlicher Bewegungen und Szenengeometrie aus monokularen Videos. Bisherige Arbeiten zur gemeinsamen Mensch-Szene-Rekonstruktion stützen sich auf datengetriebene A-priori-Informationen und gemeinsame Optimierung ohne physikalische Randbedingungen oder liefern verrauschte Geometrie mit Artefakten, die Bewegungsverfolgungsverfahren mit Szeneninteraktionen scheitern lassen. Im Gegensatz dazu besteht unser zentraler Ansatz darin, konvexe, saubere und simulationsfähige Geometrie durch Anpassung planarer Primitiven an eine Punktwolkenrekonstruktion der Szene mittels einer einfachen Clustering-Pipeline über Tiefe, Normalen und Fluss zu gewinnen. Um Szenengeometrie zu rekonstruieren, die während Interaktionen verdeckt sein könnte, nutzen wir die Modellierung von Mensch-Szene-Kontakten (z.B. verwenden wir die menschliche Haltung, um die verdeckte Sitzfläche eines Stuhls zu rekonstruieren). Schließlich stellen wir die physikalische Plausibilität der Mensch- und Szenenrekonstruktionen sicher, indem wir sie zur Steuerung eines Humanoid-Controllers mittels Reinforcement Learning verwenden. Unser Ansatz reduziert die Bewegungsverfolgungsfehlerraten von 55,2 % auf 6,9 % auf menschenzentrierten Video-Benchmarks (EMDB, PROX) bei gleichzeitig 43 % schnellerem RL-Simulationsdurchsatz. Wir validieren ihn weiterhin anhand von In-the-Wild-Videos, einschließlich locker aufgenommener Videos, Internetvideos und sogar Sora-generierter Videos. Dies demonstriert die Fähigkeit von CRISP, physikalisch valide menschliche Bewegungen und Interaktionsumgebungen in großem Maßstab zu generieren, was Real-to-Sim-Anwendungen für Robotik und AR/VR erheblich voranbringt.
English
We introduce CRISP, a method that recovers simulatable human motion and scene geometry from monocular video. Prior work on joint human-scene reconstruction relies on data-driven priors and joint optimization with no physics in the loop, or recovers noisy geometry with artifacts that cause motion tracking policies with scene interactions to fail. In contrast, our key insight is to recover convex, clean, and simulation-ready geometry by fitting planar primitives to a point cloud reconstruction of the scene, via a simple clustering pipeline over depth, normals, and flow. To reconstruct scene geometry that might be occluded during interactions, we make use of human-scene contact modeling (e.g., we use human posture to reconstruct the occluded seat of a chair). Finally, we ensure that human and scene reconstructions are physically-plausible by using them to drive a humanoid controller via reinforcement learning. Our approach reduces motion tracking failure rates from 55.2\% to 6.9\% on human-centric video benchmarks (EMDB, PROX), while delivering a 43\% faster RL simulation throughput. We further validate it on in-the-wild videos including casually-captured videos, Internet videos, and even Sora-generated videos. This demonstrates CRISP's ability to generate physically-valid human motion and interaction environments at scale, greatly advancing real-to-sim applications for robotics and AR/VR.