HoloScene: Mondi 3D Interattivi Pronti per la Simulazione da un Singolo Video

HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video

October 7, 2025

Autori: Hongchi Xia, Chih-Hao Lin, Hao-Yu Hsu, Quentin Leboutet, Katelyn Gao, Michael Paulitsch, Benjamin Ummenhofer, Shenlong Wang

cs.AI

Abstract

La digitalizzazione del mondo fisico in ambienti virtuali accurati e pronti per la simulazione offre significative opportunità in vari campi come la realtà aumentata e virtuale, il gaming e la robotica. Tuttavia, gli attuali metodi di ricostruzione 3D e comprensione delle scene spesso non soddisfano uno o più aspetti critici, come la completezza geometrica, l'interattività degli oggetti, la plausibilità fisica, il rendering fotorealistico o le proprietà fisiche realistiche necessarie per una simulazione dinamica affidabile. Per affrontare queste limitazioni, introduciamo HoloScene, un nuovo framework interattivo di ricostruzione 3D che soddisfa simultaneamente questi requisiti. HoloScene si avvale di una rappresentazione completa e interattiva della scena tramite grafo, codificando la geometria degli oggetti, l'aspetto e le proprietà fisiche insieme alle relazioni gerarchiche e inter-oggetto. La ricostruzione è formulata come un problema di ottimizzazione basato sull'energia, integrando dati osservativi, vincoli fisici e prior generativi in un obiettivo unificato e coerente. L'ottimizzazione viene eseguita in modo efficiente attraverso un approccio ibrido che combina l'esplorazione basata sul campionamento con il perfezionamento basato sul gradiente. I gemelli digitali risultanti presentano una geometria completa e precisa, stabilità fisica e rendering realistico da nuove prospettive. Le valutazioni condotte su più dataset di benchmark dimostrano prestazioni superiori, mentre casi d'uso pratici nel gaming interattivo e nella manipolazione in tempo reale dei gemelli digitali illustrano l'ampia applicabilità e l'efficacia di HoloScene. Pagina del progetto: https://xiahongchi.github.io/HoloScene.

English

Digitizing the physical world into accurate simulation-ready virtual environments offers significant opportunities in a variety of fields such as augmented and virtual reality, gaming, and robotics. However, current 3D reconstruction and scene-understanding methods commonly fall short in one or more critical aspects, such as geometry completeness, object interactivity, physical plausibility, photorealistic rendering, or realistic physical properties for reliable dynamic simulation. To address these limitations, we introduce HoloScene, a novel interactive 3D reconstruction framework that simultaneously achieves these requirements. HoloScene leverages a comprehensive interactive scene-graph representation, encoding object geometry, appearance, and physical properties alongside hierarchical and inter-object relationships. Reconstruction is formulated as an energy-based optimization problem, integrating observational data, physical constraints, and generative priors into a unified, coherent objective. Optimization is efficiently performed via a hybrid approach combining sampling-based exploration with gradient-based refinement. The resulting digital twins exhibit complete and precise geometry, physical stability, and realistic rendering from novel viewpoints. Evaluations conducted on multiple benchmark datasets demonstrate superior performance, while practical use-cases in interactive gaming and real-time digital-twin manipulation illustrate HoloScene's broad applicability and effectiveness. Project page: https://xiahongchi.github.io/HoloScene.