HoloScene: 단일 비디오에서 시뮬레이션 준비가 된 인터랙티브 3D 월드

HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video

October 7, 2025

저자: Hongchi Xia, Chih-Hao Lin, Hao-Yu Hsu, Quentin Leboutet, Katelyn Gao, Michael Paulitsch, Benjamin Ummenhofer, Shenlong Wang

cs.AI

초록

물리적 세계를 정확한 시뮬레이션 준비가 된 가상 환경으로 디지털화하는 것은 증강 현실, 가상 현실, 게임, 로보틱스 등 다양한 분야에서 상당한 기회를 제공합니다. 그러나 현재의 3D 재구성 및 장면 이해 방법들은 기하학적 완전성, 객체 상호작용, 물리적 타당성, 사실적인 렌더링, 또는 신뢰할 수 있는 동적 시뮬레이션을 위한 현실적인 물리적 특성 등 하나 이상의 중요한 측면에서 부족한 경우가 많습니다. 이러한 한계를 해결하기 위해, 우리는 이러한 요구 사항들을 동시에 달성하는 새로운 인터랙티브 3D 재구성 프레임워크인 HoloScene을 소개합니다. HoloScene은 객체의 기하학, 외관, 물리적 특성과 함께 계층적 및 객체 간 관계를 인코딩하는 포괄적인 인터랙티브 장면 그래프 표현을 활용합니다. 재구성은 관측 데이터, 물리적 제약 조건, 그리고 생성적 사전 지식을 통합된 일관된 목표로 통합하는 에너지 기반 최적화 문제로 공식화됩니다. 최적화는 샘플링 기반 탐색과 그래디언트 기반 정제를 결합한 하이브리드 접근 방식을 통해 효율적으로 수행됩니다. 결과적으로 생성된 디지털 트윈은 완전하고 정밀한 기하학, 물리적 안정성, 그리고 새로운 시점에서의 사실적인 렌더링을 보여줍니다. 여러 벤치마크 데이터셋에서 수행된 평가는 우수한 성능을 입증하며, 인터랙티브 게임과 실시간 디지털 트윈 조작에서의 실제 사용 사례는 HoloScene의 광범위한 적용 가능성과 효과를 보여줍니다. 프로젝트 페이지: https://xiahongchi.github.io/HoloScene.

English

Digitizing the physical world into accurate simulation-ready virtual environments offers significant opportunities in a variety of fields such as augmented and virtual reality, gaming, and robotics. However, current 3D reconstruction and scene-understanding methods commonly fall short in one or more critical aspects, such as geometry completeness, object interactivity, physical plausibility, photorealistic rendering, or realistic physical properties for reliable dynamic simulation. To address these limitations, we introduce HoloScene, a novel interactive 3D reconstruction framework that simultaneously achieves these requirements. HoloScene leverages a comprehensive interactive scene-graph representation, encoding object geometry, appearance, and physical properties alongside hierarchical and inter-object relationships. Reconstruction is formulated as an energy-based optimization problem, integrating observational data, physical constraints, and generative priors into a unified, coherent objective. Optimization is efficiently performed via a hybrid approach combining sampling-based exploration with gradient-based refinement. The resulting digital twins exhibit complete and precise geometry, physical stability, and realistic rendering from novel viewpoints. Evaluations conducted on multiple benchmark datasets demonstrate superior performance, while practical use-cases in interactive gaming and real-time digital-twin manipulation illustrate HoloScene's broad applicability and effectiveness. Project page: https://xiahongchi.github.io/HoloScene.