HoloScene: Интерактивные 3D-миры, готовые для симуляции, созданные из одного видео

HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video

October 7, 2025

Авторы: Hongchi Xia, Chih-Hao Lin, Hao-Yu Hsu, Quentin Leboutet, Katelyn Gao, Michael Paulitsch, Benjamin Ummenhofer, Shenlong Wang

cs.AI

Аннотация

Оцифровка физического мира в точные виртуальные среды, готовые для симуляции, открывает значительные возможности в различных областях, таких как дополненная и виртуальная реальность, игровая индустрия и робототехника. Однако современные методы 3D-реконструкции и понимания сцен часто не справляются с одним или несколькими критическими аспектами, такими как полнота геометрии, интерактивность объектов, физическая правдоподобность, фотореалистичный рендеринг или реалистичные физические свойства, необходимые для надежной динамической симуляции. Для преодоления этих ограничений мы представляем HoloScene — новый интерактивный фреймворк для 3D-реконструкции, который одновременно удовлетворяет всем этим требованиям. HoloScene использует комплексное интерактивное представление сцены в виде графа, кодирующего геометрию объектов, их внешний вид и физические свойства, а также иерархические и межобъектные связи. Реконструкция формулируется как задача энергетической оптимизации, объединяющей наблюдательные данные, физические ограничения и генеративные априорные знания в единый согласованный целевой функционал. Оптимизация эффективно выполняется с помощью гибридного подхода, сочетающего исследование на основе выборки с градиентным уточнением. Полученные цифровые двойники демонстрируют полную и точную геометрию, физическую стабильность и реалистичный рендеринг с новых точек зрения. Оценки, проведенные на нескольких эталонных наборах данных, показывают превосходную производительность, а практические примеры использования в интерактивных играх и манипуляции цифровыми двойниками в реальном времени иллюстрируют широкую применимость и эффективность HoloScene. Страница проекта: https://xiahongchi.github.io/HoloScene.

English

Digitizing the physical world into accurate simulation-ready virtual environments offers significant opportunities in a variety of fields such as augmented and virtual reality, gaming, and robotics. However, current 3D reconstruction and scene-understanding methods commonly fall short in one or more critical aspects, such as geometry completeness, object interactivity, physical plausibility, photorealistic rendering, or realistic physical properties for reliable dynamic simulation. To address these limitations, we introduce HoloScene, a novel interactive 3D reconstruction framework that simultaneously achieves these requirements. HoloScene leverages a comprehensive interactive scene-graph representation, encoding object geometry, appearance, and physical properties alongside hierarchical and inter-object relationships. Reconstruction is formulated as an energy-based optimization problem, integrating observational data, physical constraints, and generative priors into a unified, coherent objective. Optimization is efficiently performed via a hybrid approach combining sampling-based exploration with gradient-based refinement. The resulting digital twins exhibit complete and precise geometry, physical stability, and realistic rendering from novel viewpoints. Evaluations conducted on multiple benchmark datasets demonstrate superior performance, while practical use-cases in interactive gaming and real-time digital-twin manipulation illustrate HoloScene's broad applicability and effectiveness. Project page: https://xiahongchi.github.io/HoloScene.