CRISP: Real2Sim Guidato dal Contatto da Video Monoculare con Primitivi di Scena Planari

CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives

December 16, 2025

Autori: Zihan Wang, Jiashun Wang, Jeff Tan, Yiwen Zhao, Jessica Hodgins, Shubham Tulsiani, Deva Ramanan

cs.AI

Abstract

Introduciamo CRISP, un metodo che ricostruisce movimenti umani simulabili e la geometria della scena a partire da video monoculari. I lavori precedenti sulla ricostruzione congiunta umano-scena si basano su prior guidate dai dati e su ottimizzazione congiunta senza fisica nel ciclo, oppure recuperano geometrie rumorose con artefatti che causano il fallimento delle politiche di motion tracking con interazioni con la scena. Al contrario, la nostra intuizione chiave è recuperare una geometria convessa, pulita e pronta per la simulazione adattando primitive planari a una ricostruzione a nuvola di punti della scena, mediante una semplice pipeline di clustering su profondità, normali e flusso ottico. Per ricostruire la geometria della scena che potrebbe essere occlusa durante le interazioni, sfruttiamo la modellazione del contatto umano-scena (ad esempio, utilizziamo la postura umana per ricostruire la seduta occlusa di una sedia). Infine, garantiamo che le ricostruzioni umano e scena siano fisicamente plausibili utilizzandole per pilotare un controllore di umanoide tramite apprendimento per rinforzo. Il nostro approccio riduce i tassi di fallimento del motion tracking dal 55,2% al 6,9% su benchmark video centrati sull'uomo (EMDB, PROX), offrendo allo stesso tempo un throughput di simulazione RL del 43% più veloce. Convalidiamo ulteriormente il metodo su video in condizioni reali, inclusi video acquisiti casualmente, video Internet e persino video generati da Sora. Ciò dimostra la capacità di CRISP di generare motion umano e ambienti di interazione fisicamente validi su larga scala, avanzando notevolmente le applicazioni real-to-sim per la robotica e la realtà aumentata/virtuale.

English

We introduce CRISP, a method that recovers simulatable human motion and scene geometry from monocular video. Prior work on joint human-scene reconstruction relies on data-driven priors and joint optimization with no physics in the loop, or recovers noisy geometry with artifacts that cause motion tracking policies with scene interactions to fail. In contrast, our key insight is to recover convex, clean, and simulation-ready geometry by fitting planar primitives to a point cloud reconstruction of the scene, via a simple clustering pipeline over depth, normals, and flow. To reconstruct scene geometry that might be occluded during interactions, we make use of human-scene contact modeling (e.g., we use human posture to reconstruct the occluded seat of a chair). Finally, we ensure that human and scene reconstructions are physically-plausible by using them to drive a humanoid controller via reinforcement learning. Our approach reduces motion tracking failure rates from 55.2\% to 6.9\% on human-centric video benchmarks (EMDB, PROX), while delivering a 43\% faster RL simulation throughput. We further validate it on in-the-wild videos including casually-captured videos, Internet videos, and even Sora-generated videos. This demonstrates CRISP's ability to generate physically-valid human motion and interaction environments at scale, greatly advancing real-to-sim applications for robotics and AR/VR.