Matroesjka Gaussische Splatting

Samenvatting

De mogelijkheid om scènes met instelbare nauwkeurigheid weer te geven vanuit een enkel model, bekend als level of detail (LoD), is cruciaal voor de praktische inzet van 3D Gaussian Splatting (3DGS). Bestaande discrete LoD-methoden bieden slechts een beperkte set werkpunten, terwijl gelijktijdige continue LoD-benaderingen soepelere schaling mogelijk maken maar vaak te lijden hebben onder merkbare kwaliteitsvermindering op volle capaciteit, waardoor LoD een kostbaar ontwerpbesluit wordt. Wij introduceren Matryoshka Gaussian Splatting (MGS), een trainingsraamwerk dat continue LoD mogelijk maakt voor standaard 3DGS-pipelines zonder in te leveren op de weergavekwaliteit op volle capaciteit. MGS leert een enkele geordende set Gauss-functies, zodanig dat het renderen van elk voorvoegsel – de eerste *k* splats – een coherente reconstructie oplevert waarvan de nauwkeurigheid soepel verbetert met een toenemend budget. Onze kernidee is stochastische budgettraining: elke iteratie samplet een willekeurig splat-budget en optimaliseert zowel het bijbehorende voorvoegsel als de volledige set. Deze strategie vereist slechts twee voorwaartse passes en introduceert geen architecturale aanpassingen. Experimenten over vier benchmarks en zes basislijnen tonen aan dat MGS de prestatie op volle capaciteit van zijn backbone evenaart, terwijl het een continue snelheid-kwaliteit afweging mogelijk maakt vanuit een enkel model. Uitgebreide ablatiestudies naar ordeningsstrategieën, trainingsdoelstellingen en modelcapaciteit valideren de ontwerpen verder.

English

The ability to render scenes at adjustable fidelity from a single model, known as level of detail (LoD), is crucial for practical deployment of 3D Gaussian Splatting (3DGS). Existing discrete LoD methods expose only a limited set of operating points, while concurrent continuous LoD approaches enable smoother scaling but often suffer noticeable quality degradation at full capacity, making LoD a costly design decision. We introduce Matryoshka Gaussian Splatting (MGS), a training framework that enables continuous LoD for standard 3DGS pipelines without sacrificing full-capacity rendering quality. MGS learns a single ordered set of Gaussians such that rendering any prefix, the first k splats, produces a coherent reconstruction whose fidelity improves smoothly with increasing budget. Our key idea is stochastic budget training: each iteration samples a random splat budget and optimises both the corresponding prefix and the full set. This strategy requires only two forward passes and introduces no architectural modifications. Experiments across four benchmarks and six baselines show that MGS matches the full-capacity performance of its backbone while enabling a continuous speed-quality trade-off from a single model. Extensive ablations on ordering strategies, training objectives, and model capacity further validate the designs.