CRISP: Real2Sim Guiado por Contato a partir de Vídeo Monocular com Primitivas de Cena Planas
CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives
December 16, 2025
Autores: Zihan Wang, Jiashun Wang, Jeff Tan, Yiwen Zhao, Jessica Hodgins, Shubham Tulsiani, Deva Ramanan
cs.AI
Resumo
Apresentamos o CRISP, um método que recupera movimento humano simulável e geometria da cena a partir de vídeo monocular. Trabalhos anteriores sobre reconstrução conjunta humano-cena baseiam-se em prévios orientados por dados e otimização conjunta sem física integrada, ou recuperam geometria ruidosa com artefatos que fazem com que políticas de rastreamento de movimento com interações de cena falhem. Em contraste, nossa ideia fundamental é recuperar uma geometria convexa, limpa e pronta para simulação, ajustando primitivos planares a uma reconstrução de nuvem de pontos da cena, por meio de um pipeline simples de agrupamento (clustering) sobre profundidade, normais e fluxo óptico. Para reconstruir a geometria da cena que pode estar ocluída durante as interações, utilizamos modelagem de contato humano-cena (por exemplo, usamos a postura humana para reconstruir o assento ocluído de uma cadeira). Por fim, garantimos que as reconstruções humana e da cena sejam fisicamente plausíveis, utilizando-as para orientar um controlador de humanoide via aprendizado por reforço. Nossa abordagem reduz as taxas de falha no rastreamento de movimento de 55,2% para 6,9% em benchmarks de vídeo centrados no humano (EMDB, PROX), ao mesmo tempo que oferece um throughput de simulação de RL 43% mais rápido. Validamos ainda mais o método em vídeos do mundo real, incluindo vídeos capturados casualmente, vídeos da Internet e até mesmo vídeos gerados pelo Sora. Isso demonstra a capacidade do CRISP de gerar movimento humano e ambientes de interação fisicamente válidos em escala, avançando significativamente as aplicações de real-para-sim para robótica e AR/VR.
English
We introduce CRISP, a method that recovers simulatable human motion and scene geometry from monocular video. Prior work on joint human-scene reconstruction relies on data-driven priors and joint optimization with no physics in the loop, or recovers noisy geometry with artifacts that cause motion tracking policies with scene interactions to fail. In contrast, our key insight is to recover convex, clean, and simulation-ready geometry by fitting planar primitives to a point cloud reconstruction of the scene, via a simple clustering pipeline over depth, normals, and flow. To reconstruct scene geometry that might be occluded during interactions, we make use of human-scene contact modeling (e.g., we use human posture to reconstruct the occluded seat of a chair). Finally, we ensure that human and scene reconstructions are physically-plausible by using them to drive a humanoid controller via reinforcement learning. Our approach reduces motion tracking failure rates from 55.2\% to 6.9\% on human-centric video benchmarks (EMDB, PROX), while delivering a 43\% faster RL simulation throughput. We further validate it on in-the-wild videos including casually-captured videos, Internet videos, and even Sora-generated videos. This demonstrates CRISP's ability to generate physically-valid human motion and interaction environments at scale, greatly advancing real-to-sim applications for robotics and AR/VR.