HoloScene：単一の動画からシミュレーション対応のインタラクティブ3D世界を生成

HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video

October 7, 2025

著者: Hongchi Xia, Chih-Hao Lin, Hao-Yu Hsu, Quentin Leboutet, Katelyn Gao, Michael Paulitsch, Benjamin Ummenhofer, Shenlong Wang

cs.AI

要旨

物理世界を正確なシミュレーション対応の仮想環境にデジタル化することは、拡張現実（AR）や仮想現実（VR）、ゲーム、ロボティクスなど、さまざまな分野において重要な機会を提供します。しかし、現在の3D再構成およびシーン理解手法は、幾何学的完全性、オブジェクトのインタラクティブ性、物理的な妥当性、フォトリアリスティックなレンダリング、信頼性のある動的シミュレーションのための現実的な物理特性といった重要な側面の一つまたは複数において、しばしば不十分です。これらの制限に対処するため、我々はHoloSceneを紹介します。これは、これらの要件を同時に達成する新しいインタラクティブな3D再構成フレームワークです。HoloSceneは、オブジェクトの幾何学、外観、物理特性に加えて、階層的およびオブジェクト間の関係をエンコードする包括的なインタラクティブなシーングラフ表現を活用します。再構成は、観測データ、物理的制約、生成的な事前情報を統合した一貫した目的関数として、エネルギーに基づく最適化問題として定式化されます。最適化は、サンプリングベースの探索と勾配ベースの洗練を組み合わせたハイブリッドアプローチにより効率的に実行されます。結果として得られるデジタルツインは、完全で精密な幾何学、物理的安定性、新規視点からの現実的なレンダリングを特徴とします。複数のベンチマークデータセットで実施された評価は、優れた性能を示しており、インタラクティブゲームやリアルタイムデジタルツイン操作における実用的なユースケースは、HoloSceneの幅広い適用性と有効性を実証しています。プロジェクトページ: https://xiahongchi.github.io/HoloScene.

English

Digitizing the physical world into accurate simulation-ready virtual environments offers significant opportunities in a variety of fields such as augmented and virtual reality, gaming, and robotics. However, current 3D reconstruction and scene-understanding methods commonly fall short in one or more critical aspects, such as geometry completeness, object interactivity, physical plausibility, photorealistic rendering, or realistic physical properties for reliable dynamic simulation. To address these limitations, we introduce HoloScene, a novel interactive 3D reconstruction framework that simultaneously achieves these requirements. HoloScene leverages a comprehensive interactive scene-graph representation, encoding object geometry, appearance, and physical properties alongside hierarchical and inter-object relationships. Reconstruction is formulated as an energy-based optimization problem, integrating observational data, physical constraints, and generative priors into a unified, coherent objective. Optimization is efficiently performed via a hybrid approach combining sampling-based exploration with gradient-based refinement. The resulting digital twins exhibit complete and precise geometry, physical stability, and realistic rendering from novel viewpoints. Evaluations conducted on multiple benchmark datasets demonstrate superior performance, while practical use-cases in interactive gaming and real-time digital-twin manipulation illustrate HoloScene's broad applicability and effectiveness. Project page: https://xiahongchi.github.io/HoloScene.