Matriochka Gaussian Splatting

Résumé

La capacité de restituer des scènes avec une fidélité ajustable à partir d'un seul modèle, connue sous le nom de niveau de détail (LoD), est cruciale pour le déploiement pratique de la projection de gaussiennes 3D (3DGS). Les méthodes discrètes de LoD existantes n'offrent qu'un ensemble limité de points de fonctionnement, tandis que les approches concurrentes de LoD continu permettent un ajustement plus fluide mais souffrent souvent d'une dégradation notable de la qualité à pleine capacité, faisant du LoD une décision de conception coûteuse. Nous présentons Matryoshka Gaussian Splatting (MGS), un cadre d'apprentissage qui permet un LoD continu pour les pipelines 3DGS standard sans sacrifier la qualité de rendu à pleine capacité. MGS apprend un seul ensemble ordonné de gaussiennes tel que le rendu de n'importe quel préfixe, c'est-à-dire les k premières projections, produise une reconstruction cohérente dont la fidélité s'améliore progressivement avec l'augmentation du budget. Notre idée clé est l'apprentissage avec budget stochastique : à chaque itération, un budget de projection aléatoire est échantillonné et le préfixe correspondant ainsi que l'ensemble complet sont optimisés. Cette stratégie ne nécessite que deux passes avant et n'introduit aucune modification architecturale. Les expériences sur quatre benchmarks et six modèles de référence montrent que MGS égale les performances à pleine capacité de son modèle de base tout en permettant un compromis continu vitesse-qualité à partir d'un seul modèle. Des ablations extensives sur les stratégies de tri, les objectifs d'apprentissage et la capacité du modèle valident en outre les conceptions.

English

The ability to render scenes at adjustable fidelity from a single model, known as level of detail (LoD), is crucial for practical deployment of 3D Gaussian Splatting (3DGS). Existing discrete LoD methods expose only a limited set of operating points, while concurrent continuous LoD approaches enable smoother scaling but often suffer noticeable quality degradation at full capacity, making LoD a costly design decision. We introduce Matryoshka Gaussian Splatting (MGS), a training framework that enables continuous LoD for standard 3DGS pipelines without sacrificing full-capacity rendering quality. MGS learns a single ordered set of Gaussians such that rendering any prefix, the first k splats, produces a coherent reconstruction whose fidelity improves smoothly with increasing budget. Our key idea is stochastic budget training: each iteration samples a random splat budget and optimises both the corresponding prefix and the full set. This strategy requires only two forward passes and introduces no architectural modifications. Experiments across four benchmarks and six baselines show that MGS matches the full-capacity performance of its backbone while enabling a continuous speed-quality trade-off from a single model. Extensive ablations on ordering strategies, training objectives, and model capacity further validate the designs.