CRISP: Real2Sim Guiado por Contacto a partir de Vídeo Monocular con Primitivas de Escena Planas

CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives

December 16, 2025

Autores: Zihan Wang, Jiashun Wang, Jeff Tan, Yiwen Zhao, Jessica Hodgins, Shubham Tulsiani, Deva Ramanan

cs.AI

Resumen

Presentamos CRISP, un método que recupera movimiento humano simulable y geometría escénica a partir de vídeo monocular. Los trabajos previos sobre reconstrucción conjunta persona-escena se basan en *priors* basados en datos y optimización conjunta sin física en el bucle, o recuperan geometría ruidosa con artefactos que provocan el fallo de políticas de seguimiento de movimiento con interacciones escénicas. En cambio, nuestra idea clave es recuperar una geometría convexa, limpia y lista para simulación ajustando primitivas planares a una reconstrucción de nube de puntos de la escena, mediante un *pipeline* simple de agrupamiento sobre profundidad, normales y flujo. Para reconstruir la geometría escénica que podría estar ocluida durante las interacciones, utilizamos modelado de contacto persona-escena (por ejemplo, usamos la postura humana para reconstruir el asiento ocluido de una silla). Finalmente, aseguramos que las reconstrucciones humana y escénica sean físicamente plausibles utilizándolas para controlar un modelo humanoide mediante aprendizaje por refuerzo. Nuestro enfoque reduce las tasas de fallo en el seguimiento de movimiento del 55,2 % al 6,9 % en *benchmarks* de vídeo centrados en humanos (EMDB, PROX), al tiempo que ofrece un rendimiento de simulación por RL un 43 % más rápido. Lo validamos además en vídeos del mundo real que incluyen vídeos capturados casualmente, vídeos de Internet e incluso vídeos generados por Sora. Esto demuestra la capacidad de CRISP para generar movimiento humano y entornos de interacción físicamente válidos a gran escala, avanzando enormemente en las aplicaciones de real-a-sim para robótica y RA/RV.

English

We introduce CRISP, a method that recovers simulatable human motion and scene geometry from monocular video. Prior work on joint human-scene reconstruction relies on data-driven priors and joint optimization with no physics in the loop, or recovers noisy geometry with artifacts that cause motion tracking policies with scene interactions to fail. In contrast, our key insight is to recover convex, clean, and simulation-ready geometry by fitting planar primitives to a point cloud reconstruction of the scene, via a simple clustering pipeline over depth, normals, and flow. To reconstruct scene geometry that might be occluded during interactions, we make use of human-scene contact modeling (e.g., we use human posture to reconstruct the occluded seat of a chair). Finally, we ensure that human and scene reconstructions are physically-plausible by using them to drive a humanoid controller via reinforcement learning. Our approach reduces motion tracking failure rates from 55.2\% to 6.9\% on human-centric video benchmarks (EMDB, PROX), while delivering a 43\% faster RL simulation throughput. We further validate it on in-the-wild videos including casually-captured videos, Internet videos, and even Sora-generated videos. This demonstrates CRISP's ability to generate physically-valid human motion and interaction environments at scale, greatly advancing real-to-sim applications for robotics and AR/VR.