Quantile Rendering: Effiziente Einbettung hochdimensionaler Merkmale in 3D-Gaussian-Splatting

Quantile Rendering: Efficiently Embedding High-dimensional Feature on 3D Gaussian Splatting

December 24, 2025

papers.authors: Yoonwoo Jeong, Cheng Sun, Frank Wang, Minsu Cho, Jaesung Choe

cs.AI

papers.abstract

Jüngste Fortschritte in der Computer Vision haben Open-vocabulary Segmentation (OVS) erfolgreich durch den Einsatz von 3D Gaussian Splatting (3D-GS) auf den 3D-Bereich ausgeweitet. Trotz dieser Fortschritte stellt die effiziente Darstellung der für Open-vocabulary-Abfragen erforderlichen hochdimensionalen Merkmale eine erhebliche Herausforderung dar. Bestehende Methoden verwenden Codebücher oder Merkmalskompression, was zu Informationsverlusten und damit zu einer Verschlechterung der Segmentierungsqualität führt. Um diese Einschränkung zu überwinden, führen wir Quantile Rendering (Q-Render) ein, eine neuartige Rendering-Strategie für 3D-Gaußsche, die hochdimensionale Merkmale effizient verarbeitet und gleichzeitig eine hohe Detailtreue beibehält. Im Gegensatz zum konventionellen Volumenrendering, das alle 3D-Gaußschen entlang jedes Strahls dicht abtastet, sampelt Q-Render sparsam nur jene mit dominantem Einfluss entlang des Strahls. Durch die Integration von Q-Render in ein generalisierbares 3D-Neuronales Netzwerk schlagen wir zudem Gaussian Splatting Network (GS-Net) vor, das Gaußsche Merkmale auf generalisierbare Weise vorhersagt. Umfangreiche Experimente auf ScanNet und LeRF zeigen, dass unser Framework state-of-the-art Methoden übertrifft und dabei Echtzeit-Rendering mit einer Beschleunigung um den Faktor ~43,7 bei 512-D-Merkmalskarten ermöglicht. Der Code wird öffentlich zugänglich gemacht.

English

Recent advancements in computer vision have successfully extended Open-vocabulary segmentation (OVS) to the 3D domain by leveraging 3D Gaussian Splatting (3D-GS). Despite this progress, efficiently rendering the high-dimensional features required for open-vocabulary queries poses a significant challenge. Existing methods employ codebooks or feature compression, causing information loss, thereby degrading segmentation quality. To address this limitation, we introduce Quantile Rendering (Q-Render), a novel rendering strategy for 3D Gaussians that efficiently handles high-dimensional features while maintaining high fidelity. Unlike conventional volume rendering, which densely samples all 3D Gaussians intersecting each ray, Q-Render sparsely samples only those with dominant influence along the ray. By integrating Q-Render into a generalizable 3D neural network, we also propose Gaussian Splatting Network (GS-Net), which predicts Gaussian features in a generalizable manner. Extensive experiments on ScanNet and LeRF demonstrate that our framework outperforms state-of-the-art methods, while enabling real-time rendering with an approximate ~43.7x speedup on 512-D feature maps. Code will be made publicly available.