ARTDECO: 구조화된 장면 표현을 통한 효율적이고 고품질의 실시간 3D 재구성

ARTDECO: Towards Efficient and High-Fidelity On-the-Fly 3D Reconstruction with Structured Scene Representation

October 9, 2025

저자: Guanghao Li, Kerui Ren, Linning Xu, Zhewen Zheng, Changjian Jiang, Xin Gao, Bo Dai, Jian Pu, Mulin Yu, Jiangmiao Pang

cs.AI

초록

단안 카메라 이미지 시퀀스에서의 실시간 3D 재구성은 컴퓨터 비전 분야에서 오랜 기간 동안 해결되지 않은 과제로, 실세계-시뮬레이션 변환, AR/VR, 로보틱스와 같은 응용 분야에서 중요한 역할을 합니다. 기존 방법들은 주요한 트레이드오프에 직면해 있습니다: 장면별 최적화는 높은 정확도를 제공하지만 계산 비용이 크며, 피드포워드 기반 모델은 실시간 추론이 가능하지만 정확성과 견고성에서 어려움을 겪습니다. 본 연구에서는 이러한 문제를 해결하기 위해 ARTDECO를 제안합니다. ARTDECO는 피드포워드 모델의 효율성과 SLAM 기반 파이프라인의 신뢰성을 결합한 통합 프레임워크입니다. ARTDECO는 3D 기반 모델을 사용하여 포즈 추정과 점 예측을 수행하며, 다중 스케일 특징을 구조화된 3D 가우시안으로 변환하는 가우시안 디코더를 활용합니다. 대규모에서도 충실도와 효율성을 유지하기 위해, 계층적 가우시안 표현과 LoD(Level of Detail) 인식 렌더링 전략을 설계하여 렌더링 품질을 향상시키고 중복성을 줄였습니다. 8가지 다양한 실내 및 실외 벤치마크에서의 실험 결과, ARTDECO는 SLAM에 필적하는 상호작용 성능, 피드포워드 시스템과 유사한 견고성, 그리고 장면별 최적화에 근접한 재구성 품질을 보여주며, 정확한 기하학적 구조와 높은 시각적 충실도를 동시에 갖춘 실세계 환경의 실시간 디지털화를 위한 실용적인 접근 방식을 제공합니다. 더 많은 데모는 프로젝트 페이지(https://city-super.github.io/artdeco/)에서 확인할 수 있습니다.

English

On-the-fly 3D reconstruction from monocular image sequences is a long-standing challenge in computer vision, critical for applications such as real-to-sim, AR/VR, and robotics. Existing methods face a major tradeoff: per-scene optimization yields high fidelity but is computationally expensive, whereas feed-forward foundation models enable real-time inference but struggle with accuracy and robustness. In this work, we propose ARTDECO, a unified framework that combines the efficiency of feed-forward models with the reliability of SLAM-based pipelines. ARTDECO uses 3D foundation models for pose estimation and point prediction, coupled with a Gaussian decoder that transforms multi-scale features into structured 3D Gaussians. To sustain both fidelity and efficiency at scale, we design a hierarchical Gaussian representation with a LoD-aware rendering strategy, which improves rendering fidelity while reducing redundancy. Experiments on eight diverse indoor and outdoor benchmarks show that ARTDECO delivers interactive performance comparable to SLAM, robustness similar to feed-forward systems, and reconstruction quality close to per-scene optimization, providing a practical path toward on-the-fly digitization of real-world environments with both accurate geometry and high visual fidelity. Explore more demos on our project page: https://city-super.github.io/artdeco/.