CRISP: Contact-Gestuurde Real2Sim vanuit Monoculaire Video met Planaire Scène-primitieven
CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives
December 16, 2025
Auteurs: Zihan Wang, Jiashun Wang, Jeff Tan, Yiwen Zhao, Jessica Hodgins, Shubham Tulsiani, Deva Ramanan
cs.AI
Samenvatting
Wij introduceren CRISP, een methode die simuleerbare menselijke beweging en scène-geometrie herstelt uit monovideo. Eerdere werkzaamheden op het gebied van gezamenlijke mens-scène-reconstructie steunen op data-gedreven a priori kennis en gezamenlijke optimalisatie zonder fysica in de loop, of herstelt rommelige geometrie met artefacten die ervoor zorgen dat bewegingvolgbare policies met scène-interacties falen. In tegenstelling hiermee is ons belangrijkste inzicht dat we convexe, schone en simulatieklare geometrie kunnen herstellen door vlakke primitieven te fitten op een puntenwolk-reconstructie van de scène, via een eenvoudige clustering-pipeline over diepte, normalen en flow. Om scène-geometrie te reconstrueren die mogelijk verborgen is tijdens interacties, maken we gebruik van mens-scène-contactmodellering (bijvoorbeeld: we gebruiken menselijke houding om de verborgen zitting van een stoel te reconstrueren). Ten slotte zorgen we ervoor dat mens- en scène-reconstructies fysiek plausibel zijn door ze te gebruiken om een humanoïde controller aan te sturen via reinforcement learning. Onze aanpak verlaagt de mislukkingspercentages van bewegingvolging van 55,2% naar 6,9% op mensgerichte videobenchmarks (EMDB, PROX), terwijl het een 43% snellere RL-simulatiedoorvoer oplevert. We valideren het verder op in-the-wild video's, inclusief casual vastgelegde video's, internetvideo's en zelfs door Sora gegenereerde video's. Dit demonstreert het vermogen van CRISP om op grote schaal fysiek valide menselijke beweging en interactie-omgevingen te genereren, wat real-to-sim toepassingen voor robotica en AR/VR aanzienlijk vooruithelpt.
English
We introduce CRISP, a method that recovers simulatable human motion and scene geometry from monocular video. Prior work on joint human-scene reconstruction relies on data-driven priors and joint optimization with no physics in the loop, or recovers noisy geometry with artifacts that cause motion tracking policies with scene interactions to fail. In contrast, our key insight is to recover convex, clean, and simulation-ready geometry by fitting planar primitives to a point cloud reconstruction of the scene, via a simple clustering pipeline over depth, normals, and flow. To reconstruct scene geometry that might be occluded during interactions, we make use of human-scene contact modeling (e.g., we use human posture to reconstruct the occluded seat of a chair). Finally, we ensure that human and scene reconstructions are physically-plausible by using them to drive a humanoid controller via reinforcement learning. Our approach reduces motion tracking failure rates from 55.2\% to 6.9\% on human-centric video benchmarks (EMDB, PROX), while delivering a 43\% faster RL simulation throughput. We further validate it on in-the-wild videos including casually-captured videos, Internet videos, and even Sora-generated videos. This demonstrates CRISP's ability to generate physically-valid human motion and interaction environments at scale, greatly advancing real-to-sim applications for robotics and AR/VR.