HoloScene: Mundos Interactivos 3D Listos para Simulación a partir de un Único Vídeo

HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video

October 7, 2025

Autores: Hongchi Xia, Chih-Hao Lin, Hao-Yu Hsu, Quentin Leboutet, Katelyn Gao, Michael Paulitsch, Benjamin Ummenhofer, Shenlong Wang

cs.AI

Resumen

La digitalización del mundo físico en entornos virtuales precisos y listos para simulación ofrece oportunidades significativas en diversos campos como la realidad aumentada y virtual, los videojuegos y la robótica. Sin embargo, los métodos actuales de reconstrucción 3D y comprensión de escenas suelen fallar en uno o más aspectos críticos, como la completitud geométrica, la interactividad de los objetos, la plausibilidad física, el renderizado fotorrealista o las propiedades físicas realistas para simulaciones dinámicas confiables. Para abordar estas limitaciones, presentamos HoloScene, un novedoso marco de reconstrucción 3D interactiva que logra simultáneamente estos requisitos. HoloScene aprovecha una representación integral de grafo de escena interactiva, codificando la geometría, apariencia y propiedades físicas de los objetos junto con relaciones jerárquicas e inter-objetos. La reconstrucción se formula como un problema de optimización basado en energía, integrando datos observacionales, restricciones físicas y priors generativos en un objetivo unificado y coherente. La optimización se realiza eficientemente mediante un enfoque híbrido que combina exploración basada en muestreo con refinamiento basado en gradientes. Los gemelos digitales resultantes exhiben geometría completa y precisa, estabilidad física y renderizado realista desde nuevos puntos de vista. Las evaluaciones realizadas en múltiples conjuntos de datos de referencia demuestran un rendimiento superior, mientras que casos de uso prácticos en videojuegos interactivos y manipulación en tiempo real de gemelos digitales ilustran la amplia aplicabilidad y efectividad de HoloScene. Página del proyecto: https://xiahongchi.github.io/HoloScene.

English

Digitizing the physical world into accurate simulation-ready virtual environments offers significant opportunities in a variety of fields such as augmented and virtual reality, gaming, and robotics. However, current 3D reconstruction and scene-understanding methods commonly fall short in one or more critical aspects, such as geometry completeness, object interactivity, physical plausibility, photorealistic rendering, or realistic physical properties for reliable dynamic simulation. To address these limitations, we introduce HoloScene, a novel interactive 3D reconstruction framework that simultaneously achieves these requirements. HoloScene leverages a comprehensive interactive scene-graph representation, encoding object geometry, appearance, and physical properties alongside hierarchical and inter-object relationships. Reconstruction is formulated as an energy-based optimization problem, integrating observational data, physical constraints, and generative priors into a unified, coherent objective. Optimization is efficiently performed via a hybrid approach combining sampling-based exploration with gradient-based refinement. The resulting digital twins exhibit complete and precise geometry, physical stability, and realistic rendering from novel viewpoints. Evaluations conducted on multiple benchmark datasets demonstrate superior performance, while practical use-cases in interactive gaming and real-time digital-twin manipulation illustrate HoloScene's broad applicability and effectiveness. Project page: https://xiahongchi.github.io/HoloScene.