Matrjoschka-Gaußsches Splatting

Zusammenfassung

Die Fähigkeit, Szenen mit einstellbarer Detailtreue aus einem einzigen Modell zu rendern, bekannt als Level of Detail (LoD), ist entscheidend für den praktischen Einsatz von 3D Gaussian Splatting (3DGS). Bestehende diskrete LoD-Methoden bieten nur eine begrenzte Anzahl von Betriebspunkten, während neuere kontinuierliche LoD-Ansätze zwar eine glattere Skalierung ermöglichen, aber oft unter einer merklichen Qualitätsverschlechterung bei voller Kapazität leiden, was LoD zu einer kostspieligen Designentscheidung macht. Wir stellen Matryoshka Gaussian Splatting (MGS) vor, ein Trainingsframework, das kontinuierliches LoD für Standard-3DGS-Pipelines ermöglicht, ohne die Renderingqualität bei voller Kapazität zu opfern. MGS lernt eine einzige geordnete Menge von Gaußfunktionen, bei der das Rendern eines beliebigen Präfixes, also der ersten k Splats, eine kohärente Rekonstruktion erzeugt, deren Detailtreue sich glatt mit steigendem Budget verbessert. Unser zentraler Ansatz ist das Training mit stochastischem Budget: Bei jeder Iteration wird ein zufälliges Splat-Budget abgetastet und sowohl das entsprechende Präfix als auch die vollständige Menge optimiert. Diese Strategie erfordert nur zwei Vorwärtsschritte und führt keine Architekturänderungen ein. Experimente über vier Benchmarks und sechs Baseline-Methoden zeigen, dass MGS die Leistung bei voller Kapazität seines Backbones erreicht und gleichzeitig einen kontinuierlichen Geschwindigkeits-Qualitäts-Kompromiss aus einem einzigen Modell ermöglicht. Umfangreiche Ablationstudien zu Ordnungsstrategien, Trainingszielen und Modellkapazität validieren die Designs weiter.

English

The ability to render scenes at adjustable fidelity from a single model, known as level of detail (LoD), is crucial for practical deployment of 3D Gaussian Splatting (3DGS). Existing discrete LoD methods expose only a limited set of operating points, while concurrent continuous LoD approaches enable smoother scaling but often suffer noticeable quality degradation at full capacity, making LoD a costly design decision. We introduce Matryoshka Gaussian Splatting (MGS), a training framework that enables continuous LoD for standard 3DGS pipelines without sacrificing full-capacity rendering quality. MGS learns a single ordered set of Gaussians such that rendering any prefix, the first k splats, produces a coherent reconstruction whose fidelity improves smoothly with increasing budget. Our key idea is stochastic budget training: each iteration samples a random splat budget and optimises both the corresponding prefix and the full set. This strategy requires only two forward passes and introduces no architectural modifications. Experiments across four benchmarks and six baselines show that MGS matches the full-capacity performance of its backbone while enabling a continuous speed-quality trade-off from a single model. Extensive ablations on ordering strategies, training objectives, and model capacity further validate the designs.