HoloScene: Simulationsbereite interaktive 3D-Welten aus einem einzelnen Video
HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video
October 7, 2025
papers.authors: Hongchi Xia, Chih-Hao Lin, Hao-Yu Hsu, Quentin Leboutet, Katelyn Gao, Michael Paulitsch, Benjamin Ummenhofer, Shenlong Wang
cs.AI
papers.abstract
Die Digitalisierung der physischen Welt in präzise, simulationsfähige virtuelle Umgebungen bietet erhebliche Chancen in verschiedenen Bereichen wie Augmented und Virtual Reality, Gaming und Robotik. Allerdings erreichen aktuelle Methoden der 3D-Rekonstruktion und Szenenverständlichkeit häufig nicht die erforderlichen Standards in einem oder mehreren kritischen Aspekten, wie geometrische Vollständigkeit, Objektinteraktivität, physikalische Plausibilität, fotorealistisches Rendering oder realistische physikalische Eigenschaften für zuverlässige dynamische Simulationen. Um diese Einschränkungen zu überwinden, stellen wir HoloScene vor, ein neuartiges interaktives 3D-Rekonstruktionsframework, das gleichzeitig diese Anforderungen erfüllt. HoloScene nutzt eine umfassende interaktive Szenengraph-Darstellung, die Objektgeometrie, Erscheinungsbild und physikalische Eigenschaften sowie hierarchische und interobjektive Beziehungen kodiert. Die Rekonstruktion wird als ein energiebasiertes Optimierungsproblem formuliert, das Beobachtungsdaten, physikalische Einschränkungen und generative Prioritäten in ein einheitliches, kohärentes Ziel integriert. Die Optimierung wird effizient durch einen hybriden Ansatz durchgeführt, der samplingbasierte Exploration mit gradientenbasierter Verfeinerung kombiniert. Die resultierenden digitalen Zwillinge weisen vollständige und präzise Geometrie, physikalische Stabilität und realistisches Rendering aus neuen Blickwinkeln auf. Bewertungen auf mehreren Benchmark-Datensätzen demonstrieren überlegene Leistung, während praktische Anwendungsfälle im interaktiven Gaming und der Echtzeit-Manipulation digitaler Zwillinge die breite Anwendbarkeit und Effektivität von HoloScene veranschaulichen. Projektseite: https://xiahongchi.github.io/HoloScene.
English
Digitizing the physical world into accurate simulation-ready virtual
environments offers significant opportunities in a variety of fields such as
augmented and virtual reality, gaming, and robotics. However, current 3D
reconstruction and scene-understanding methods commonly fall short in one or
more critical aspects, such as geometry completeness, object interactivity,
physical plausibility, photorealistic rendering, or realistic physical
properties for reliable dynamic simulation. To address these limitations, we
introduce HoloScene, a novel interactive 3D reconstruction framework that
simultaneously achieves these requirements. HoloScene leverages a comprehensive
interactive scene-graph representation, encoding object geometry, appearance,
and physical properties alongside hierarchical and inter-object relationships.
Reconstruction is formulated as an energy-based optimization problem,
integrating observational data, physical constraints, and generative priors
into a unified, coherent objective. Optimization is efficiently performed via a
hybrid approach combining sampling-based exploration with gradient-based
refinement. The resulting digital twins exhibit complete and precise geometry,
physical stability, and realistic rendering from novel viewpoints. Evaluations
conducted on multiple benchmark datasets demonstrate superior performance,
while practical use-cases in interactive gaming and real-time digital-twin
manipulation illustrate HoloScene's broad applicability and effectiveness.
Project page: https://xiahongchi.github.io/HoloScene.