HoloScene: Mundos 3D Interativos Prontos para Simulação a partir de um Único Vídeo

HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video

October 7, 2025

Autores: Hongchi Xia, Chih-Hao Lin, Hao-Yu Hsu, Quentin Leboutet, Katelyn Gao, Michael Paulitsch, Benjamin Ummenhofer, Shenlong Wang

cs.AI

Resumo

A digitalização do mundo físico em ambientes virtuais precisos e prontos para simulação oferece oportunidades significativas em diversos campos, como realidade aumentada e virtual, jogos e robótica. No entanto, os métodos atuais de reconstrução 3D e compreensão de cenas frequentemente falham em um ou mais aspectos críticos, como completude geométrica, interatividade de objetos, plausibilidade física, renderização fotorrealista ou propriedades físicas realistas para simulações dinâmicas confiáveis. Para abordar essas limitações, apresentamos o HoloScene, uma nova estrutura de reconstrução 3D interativa que atende simultaneamente a esses requisitos. O HoloScene utiliza uma representação abrangente de grafo de cena interativo, codificando a geometria, aparência e propriedades físicas dos objetos, juntamente com relações hierárquicas e interobjetos. A reconstrução é formulada como um problema de otimização baseado em energia, integrando dados observacionais, restrições físicas e priors generativos em um objetivo unificado e coerente. A otimização é realizada de forma eficiente por meio de uma abordagem híbrida que combina exploração baseada em amostragem com refinamento baseado em gradiente. Os gêmeos digitais resultantes exibem geometria completa e precisa, estabilidade física e renderização realista a partir de novos pontos de vista. Avaliações conduzidas em múltiplos conjuntos de dados de referência demonstram desempenho superior, enquanto casos de uso práticos em jogos interativos e manipulação de gêmeos digitais em tempo real ilustram a ampla aplicabilidade e eficácia do HoloScene. Página do projeto: https://xiahongchi.github.io/HoloScene.

English

Digitizing the physical world into accurate simulation-ready virtual environments offers significant opportunities in a variety of fields such as augmented and virtual reality, gaming, and robotics. However, current 3D reconstruction and scene-understanding methods commonly fall short in one or more critical aspects, such as geometry completeness, object interactivity, physical plausibility, photorealistic rendering, or realistic physical properties for reliable dynamic simulation. To address these limitations, we introduce HoloScene, a novel interactive 3D reconstruction framework that simultaneously achieves these requirements. HoloScene leverages a comprehensive interactive scene-graph representation, encoding object geometry, appearance, and physical properties alongside hierarchical and inter-object relationships. Reconstruction is formulated as an energy-based optimization problem, integrating observational data, physical constraints, and generative priors into a unified, coherent objective. Optimization is efficiently performed via a hybrid approach combining sampling-based exploration with gradient-based refinement. The resulting digital twins exhibit complete and precise geometry, physical stability, and realistic rendering from novel viewpoints. Evaluations conducted on multiple benchmark datasets demonstrate superior performance, while practical use-cases in interactive gaming and real-time digital-twin manipulation illustrate HoloScene's broad applicability and effectiveness. Project page: https://xiahongchi.github.io/HoloScene.