마트료시카 가우시안 스플래팅

초록

단일 모델에서 조절 가능한 정밀도로 장면을 렌더링하는 능력, 즉 Level of Detail (LoD)는 3D Gaussian Splatting (3DGS)의 실용적 배포에 있어 핵심적입니다. 기존의 이산적 LoD 방법은 제한된 수의 운영 지점만을 제공하는 반면, 최근의 연속적 LoD 접근법은 더 부드러운 스케일링을 가능하게 하지만 종종 최대 성능에서 눈에 띄는 화질 저하를 겪어 LoD를 도입하는 것이 비용이 큰 설계 결정이 되었습니다. 우리는 표준 3DGS 파이프라인에서 최대 성능 렌더링 품질을 희생하지 않으면서 연속적 LoD를 가능하게 하는 학습 프레임워크인 Matryoshka Gaussian Splatting (MGS)을 소개합니다. MGS는 단일 정렬된 Gaussian 집합을 학습하여, 어떤 접두사(첫 k개의 splat)를 렌더링하더라도 예산이 증가함에 따라 정밀도가 부드럽게 향상되는 일관된 재구성 결과를 생성합니다. 우리의 핵심 아이디어는 확률적 예산 학습으로, 각 반복마다 무작위 splat 예산을 샘플링하고 해당 접두사와 전체 집합을 동시에 최적화합니다. 이 전략은 두 번의 순전파만 필요로 하며 아키텍처 수정을 전혀 도입하지 않습니다. 4개의 벤치마크와 6개의 기준 모델에 대한 실험 결과, MGS는 백본 모델의 최대 성능을 그대로 유지하면서 단일 모델로부터 연속적인 속도-품질 트레이드오프를 가능하게 함을 보여줍니다. 정렬 전략, 학습 목표, 모델 용량에 대한 광범위한 ablation 연구를 통해 해당 설계를 추가로 검증합니다.

English

The ability to render scenes at adjustable fidelity from a single model, known as level of detail (LoD), is crucial for practical deployment of 3D Gaussian Splatting (3DGS). Existing discrete LoD methods expose only a limited set of operating points, while concurrent continuous LoD approaches enable smoother scaling but often suffer noticeable quality degradation at full capacity, making LoD a costly design decision. We introduce Matryoshka Gaussian Splatting (MGS), a training framework that enables continuous LoD for standard 3DGS pipelines without sacrificing full-capacity rendering quality. MGS learns a single ordered set of Gaussians such that rendering any prefix, the first k splats, produces a coherent reconstruction whose fidelity improves smoothly with increasing budget. Our key idea is stochastic budget training: each iteration samples a random splat budget and optimises both the corresponding prefix and the full set. This strategy requires only two forward passes and introduces no architectural modifications. Experiments across four benchmarks and six baselines show that MGS matches the full-capacity performance of its backbone while enabling a continuous speed-quality trade-off from a single model. Extensive ablations on ordering strategies, training objectives, and model capacity further validate the designs.