Matryoshka Gaussian Splatting

Abstract

La capacità di rappresentare scene con fedeltà regolabile da un singolo modello, nota come livello di dettaglio (LoD), è cruciale per la diffusione pratica del Gaussian Splatting 3D (3DGS). I metodi di LoD discreti esistenti espongono solo un insieme limitato di punti di funzionamento, mentre gli approcci di LoD continuo simultanei consentono una scalabilità più fluida ma spesso soffrono di un degrado qualitativo evidente a piena capacità, rendendo il LoD una scelta progettuale costosa. Introduciamo Matryoshka Gaussian Splatting (MGS), un framework di addestramento che abilita un LoD continuo per le pipeline 3DGS standard senza sacrificare la qualità del rendering a piena capacità. MGS apprende un singolo insieme ordinato di Gaussiane in modo che il rendering di qualsiasi prefisso, ovvero i primi k splat, produca una ricostruzione coerente la cui fedeltà migliora gradualmente con l'aumentare del budget. La nostra idea chiave è l'addestramento con budget stocastico: ogni iterazione campiona un budget di splat casuale e ottimizza sia il prefisso corrispondente che l'insieme completo. Questa strategia richiede solo due passi in avanti e non introduce modifiche architetturali. Esperimenti su quattro benchmark e sei baseline dimostrano che MGS eguaglia le prestazioni a piena capacità della sua backbone, consentendo al contempo un compromesso continuo tra velocità e qualità da un singolo modello. Estese ablation study sulle strategie di ordinamento, gli obiettivi di addestramento e la capacità del modello convalidano ulteriormente le scelte progettuali.

English

The ability to render scenes at adjustable fidelity from a single model, known as level of detail (LoD), is crucial for practical deployment of 3D Gaussian Splatting (3DGS). Existing discrete LoD methods expose only a limited set of operating points, while concurrent continuous LoD approaches enable smoother scaling but often suffer noticeable quality degradation at full capacity, making LoD a costly design decision. We introduce Matryoshka Gaussian Splatting (MGS), a training framework that enables continuous LoD for standard 3DGS pipelines without sacrificing full-capacity rendering quality. MGS learns a single ordered set of Gaussians such that rendering any prefix, the first k splats, produces a coherent reconstruction whose fidelity improves smoothly with increasing budget. Our key idea is stochastic budget training: each iteration samples a random splat budget and optimises both the corresponding prefix and the full set. This strategy requires only two forward passes and introduces no architectural modifications. Experiments across four benchmarks and six baselines show that MGS matches the full-capacity performance of its backbone while enabling a continuous speed-quality trade-off from a single model. Extensive ablations on ordering strategies, training objectives, and model capacity further validate the designs.