CRISP: Контактно-управляемое преобразование Real2Sim из монокулярного видео с использованием примитивов планарных сцен

CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives

December 16, 2025

Авторы: Zihan Wang, Jiashun Wang, Jeff Tan, Yiwen Zhao, Jessica Hodgins, Shubham Tulsiani, Deva Ramanan

cs.AI

Аннотация

Мы представляем метод CRISP, который восстанавливает симулируемое движение человека и геометрию сцены из монокулярного видео. Предыдущие работы по совместной реконструкции человека и сцены опираются на априорные данные и совместную оптимизацию без учета физики или восстанавливают зашумленную геометрию с артефактами, из-за которых политики отслеживания движения со взаимодействием со сценой дают сбой. В отличие от них, наше ключевое решение заключается в восстановлении выпуклой, чистой и готовой к симуляции геометрии путем подгонки планарных примитивов к облаку точек реконструированной сцены с помощью простого конвейера кластеризации по глубине, нормалям и потоку. Чтобы реконструировать геометрию сцены, которая может быть закрыта во время взаимодействий, мы используем моделирование контакта человека со средой (например, используем позу человека для реконструкции закрытого сиденья стула). Наконец, мы обеспечиваем физическую правдоподобность реконструкций человека и сцены, используя их для управления контроллером гуманоида с помощью обучения с подкреплением. Наш подход снижает частоту сбоев отслеживания движения с 55,2% до 6,9% на бенчмарках видео с участием человека (EMDB, PROX), одновременно обеспечивая на 43% более высокую пропускную способность RL-симуляции. Мы дополнительно проверяем его на реальных видео, включая случайно снятые ролики, интернет-видео и даже видео, сгенерированные Sora. Это демонстрирует способность CRISP генерировать физически корректное движение человека и среды взаимодействия в больших масштабах, что значительно продвигает приложения "реальность-симуляция" для робототехники и AR/VR.

English

We introduce CRISP, a method that recovers simulatable human motion and scene geometry from monocular video. Prior work on joint human-scene reconstruction relies on data-driven priors and joint optimization with no physics in the loop, or recovers noisy geometry with artifacts that cause motion tracking policies with scene interactions to fail. In contrast, our key insight is to recover convex, clean, and simulation-ready geometry by fitting planar primitives to a point cloud reconstruction of the scene, via a simple clustering pipeline over depth, normals, and flow. To reconstruct scene geometry that might be occluded during interactions, we make use of human-scene contact modeling (e.g., we use human posture to reconstruct the occluded seat of a chair). Finally, we ensure that human and scene reconstructions are physically-plausible by using them to drive a humanoid controller via reinforcement learning. Our approach reduces motion tracking failure rates from 55.2\% to 6.9\% on human-centric video benchmarks (EMDB, PROX), while delivering a 43\% faster RL simulation throughput. We further validate it on in-the-wild videos including casually-captured videos, Internet videos, and even Sora-generated videos. This demonstrates CRISP's ability to generate physically-valid human motion and interaction environments at scale, greatly advancing real-to-sim applications for robotics and AR/VR.