HoloScene : Mondes 3D interactifs prêts pour la simulation à partir d'une seule vidéo
HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video
October 7, 2025
papers.authors: Hongchi Xia, Chih-Hao Lin, Hao-Yu Hsu, Quentin Leboutet, Katelyn Gao, Michael Paulitsch, Benjamin Ummenhofer, Shenlong Wang
cs.AI
papers.abstract
La numérisation du monde physique en environnements virtuels prêts pour la simulation précise offre des opportunités significatives dans divers domaines tels que la réalité augmentée, la réalité virtuelle, les jeux vidéo et la robotique. Cependant, les méthodes actuelles de reconstruction 3D et de compréhension de scènes présentent souvent des lacunes dans un ou plusieurs aspects critiques, tels que l'exhaustivité géométrique, l'interactivité des objets, la plausibilité physique, le rendu photoréaliste ou les propriétés physiques réalistes nécessaires à une simulation dynamique fiable. Pour surmonter ces limitations, nous présentons HoloScene, un nouveau cadre de reconstruction 3D interactive qui répond simultanément à ces exigences. HoloScene s'appuie sur une représentation complète de graphe de scène interactive, encodant la géométrie des objets, leur apparence et leurs propriétés physiques, ainsi que les relations hiérarchiques et inter-objets. La reconstruction est formulée comme un problème d'optimisation basé sur l'énergie, intégrant les données d'observation, les contraintes physiques et les a priori génératifs dans un objectif unifié et cohérent. L'optimisation est réalisée efficacement via une approche hybride combinant une exploration basée sur l'échantillonnage avec un affinement basé sur le gradient. Les jumeaux numériques résultants présentent une géométrie complète et précise, une stabilité physique et un rendu réaliste depuis de nouveaux points de vue. Les évaluations menées sur plusieurs ensembles de données de référence démontrent une performance supérieure, tandis que des cas d'utilisation pratiques dans les jeux interactifs et la manipulation en temps réel de jumeaux numériques illustrent la large applicabilité et l'efficacité de HoloScene. Page du projet : https://xiahongchi.github.io/HoloScene.
English
Digitizing the physical world into accurate simulation-ready virtual
environments offers significant opportunities in a variety of fields such as
augmented and virtual reality, gaming, and robotics. However, current 3D
reconstruction and scene-understanding methods commonly fall short in one or
more critical aspects, such as geometry completeness, object interactivity,
physical plausibility, photorealistic rendering, or realistic physical
properties for reliable dynamic simulation. To address these limitations, we
introduce HoloScene, a novel interactive 3D reconstruction framework that
simultaneously achieves these requirements. HoloScene leverages a comprehensive
interactive scene-graph representation, encoding object geometry, appearance,
and physical properties alongside hierarchical and inter-object relationships.
Reconstruction is formulated as an energy-based optimization problem,
integrating observational data, physical constraints, and generative priors
into a unified, coherent objective. Optimization is efficiently performed via a
hybrid approach combining sampling-based exploration with gradient-based
refinement. The resulting digital twins exhibit complete and precise geometry,
physical stability, and realistic rendering from novel viewpoints. Evaluations
conducted on multiple benchmark datasets demonstrate superior performance,
while practical use-cases in interactive gaming and real-time digital-twin
manipulation illustrate HoloScene's broad applicability and effectiveness.
Project page: https://xiahongchi.github.io/HoloScene.