Матрёшка гауссовых сплатов

Аннотация

Возможность визуализации сцен с регулируемой детализацией на основе единой модели, известная как уровень детализации (LoD), имеет ключевое значение для практического применения метода 3D Gaussian Splatting (3DGS). Существующие дискретные методы LoD предоставляют лишь ограниченный набор рабочих точек, тогда как современные непрерывные подходы LoD обеспечивают более плавное масштабирование, но часто демонстрируют заметное снижение качества при полной мощности, что делает выбор LoD дорогостоящим архитектурным решением. Мы представляем Matryoshka Gaussian Splatting (MGS) — фреймворк для обучения, который обеспечивает непрерывный LoD для стандартных конвейеров 3DGS без ухудшения качества рендеринга на полной мощности. MGS обучает единый упорядоченный набор гауссоидов таким образом, что рендеринг любого его префикса (первых k сплатов) даёт согласованную реконструкцию, чья точность плавно повышается с увеличением вычислительного бюджета. Наша ключевая идея — это обучение со стохастическим бюджетом: на каждой итерации выбирается случайный бюджет сплатов, а оптимизируется как соответствующий префикс, так и полный набор. Данная стратегия требует лишь двух прямых проходов и не вносит изменений в архитектуру модели. Эксперименты на четырёх бенчмарках и шести базовых методах показывают, что MGS сохраняет производительность своей базовой модели на полной мощности, обеспечивая при этом непрерывный компромисс между скоростью и качеством из единой модели. Обширные абляционные исследования стратегий упорядочивания, функций потерь и ёмкости моделей дополнительно подтверждают обоснованность предложенных решений.

English

The ability to render scenes at adjustable fidelity from a single model, known as level of detail (LoD), is crucial for practical deployment of 3D Gaussian Splatting (3DGS). Existing discrete LoD methods expose only a limited set of operating points, while concurrent continuous LoD approaches enable smoother scaling but often suffer noticeable quality degradation at full capacity, making LoD a costly design decision. We introduce Matryoshka Gaussian Splatting (MGS), a training framework that enables continuous LoD for standard 3DGS pipelines without sacrificing full-capacity rendering quality. MGS learns a single ordered set of Gaussians such that rendering any prefix, the first k splats, produces a coherent reconstruction whose fidelity improves smoothly with increasing budget. Our key idea is stochastic budget training: each iteration samples a random splat budget and optimises both the corresponding prefix and the full set. This strategy requires only two forward passes and introduces no architectural modifications. Experiments across four benchmarks and six baselines show that MGS matches the full-capacity performance of its backbone while enabling a continuous speed-quality trade-off from a single model. Extensive ablations on ordering strategies, training objectives, and model capacity further validate the designs.