HoloScene: Simulatieklare interactieve 3D-werelden uit één enkele video

HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video

October 7, 2025

Auteurs: Hongchi Xia, Chih-Hao Lin, Hao-Yu Hsu, Quentin Leboutet, Katelyn Gao, Michael Paulitsch, Benjamin Ummenhofer, Shenlong Wang

cs.AI

Samenvatting

Het digitaliseren van de fysieke wereld naar nauwkeurige, simulatieklare virtuele omgevingen biedt aanzienlijke mogelijkheden in diverse vakgebieden zoals augmented en virtual reality, gaming en robotica. Huidige methoden voor 3D-reconstructie en scènebegrip schieten echter vaak tekort in een of meer kritieke aspecten, zoals geometrische volledigheid, objectinteractiviteit, fysieke geloofwaardigheid, fotorealistisch renderen of realistische fysieke eigenschappen voor betrouwbare dynamische simulatie. Om deze beperkingen aan te pakken, introduceren we HoloScene, een nieuw interactief 3D-reconstructiekader dat tegelijkertijd aan deze vereisten voldoet. HoloScene maakt gebruik van een uitgebreide interactieve scènegraafrepresentatie, waarin objectgeometrie, uiterlijk en fysieke eigenschappen worden vastgelegd, naast hiërarchische en inter-objectrelaties. Reconstructie wordt geformuleerd als een energiegebaseerd optimalisatieprobleem, waarbij observatiedata, fysieke beperkingen en generatieve priors worden geïntegreerd in een uniform, samenhangend doel. Optimalisatie wordt efficiënt uitgevoerd via een hybride aanpak die steekproefgebaseerde exploratie combineert met gradientgebaseerde verfijning. De resulterende digitale tweelingen vertonen volledige en precieze geometrie, fysieke stabiliteit en realistische rendering vanuit nieuwe gezichtspunten. Evaluaties uitgevoerd op meerdere benchmarkdatasets tonen superieure prestaties aan, terwijl praktische use-cases in interactieve gaming en real-time manipulatie van digitale tweelingen de brede toepasbaarheid en effectiviteit van HoloScene illustreren. Projectpagina: https://xiahongchi.github.io/HoloScene.

English

Digitizing the physical world into accurate simulation-ready virtual environments offers significant opportunities in a variety of fields such as augmented and virtual reality, gaming, and robotics. However, current 3D reconstruction and scene-understanding methods commonly fall short in one or more critical aspects, such as geometry completeness, object interactivity, physical plausibility, photorealistic rendering, or realistic physical properties for reliable dynamic simulation. To address these limitations, we introduce HoloScene, a novel interactive 3D reconstruction framework that simultaneously achieves these requirements. HoloScene leverages a comprehensive interactive scene-graph representation, encoding object geometry, appearance, and physical properties alongside hierarchical and inter-object relationships. Reconstruction is formulated as an energy-based optimization problem, integrating observational data, physical constraints, and generative priors into a unified, coherent objective. Optimization is efficiently performed via a hybrid approach combining sampling-based exploration with gradient-based refinement. The resulting digital twins exhibit complete and precise geometry, physical stability, and realistic rendering from novel viewpoints. Evaluations conducted on multiple benchmark datasets demonstrate superior performance, while practical use-cases in interactive gaming and real-time digital-twin manipulation illustrate HoloScene's broad applicability and effectiveness. Project page: https://xiahongchi.github.io/HoloScene.