Rendu par quantiles : intégration efficace de caractéristiques de haute dimension sur le nuage de Gauss 3D

Quantile Rendering: Efficiently Embedding High-dimensional Feature on 3D Gaussian Splatting

December 24, 2025

papers.authors: Yoonwoo Jeong, Cheng Sun, Frank Wang, Minsu Cho, Jaesung Choe

cs.AI

papers.abstract

Les récentes avancées en vision par ordinateur ont étendu avec succès la segmentation à vocabulaire ouvert (OVS) au domaine 3D en exploitant la méthode de splatting par gaussiennes 3D (3D-GS). Malgré ces progrès, le rendu efficace des caractéristiques de haute dimension requises pour les requêtes à vocabulaire ouvert représente un défi majeur. Les méthodes existantes utilisent des codebooks ou une compression des caractéristiques, entraînant une perte d'information qui dégrade la qualité de la segmentation. Pour remédier à cette limitation, nous présentons le Quantile Rendering (Q-Render), une nouvelle stratégie de rendu pour les gaussiennes 3D qui traite efficacement les caractéristiques de haute dimension tout en maintenant une haute fidélité. Contrairement au rendu volumique conventionnel qui échantillonne densément toutes les gaussiennes 3D intersectant chaque rayon, Q-Render échantillonne de manière éparse uniquement celles ayant une influence dominante le long du rayon. En intégrant Q-Render dans un réseau neuronal 3D généralisable, nous proposons également le Gaussian Splatting Network (GS-Net), qui prédit les caractéristiques des gaussiennes de manière généralisable. Des expériences approfondies sur ScanNet et LeRF démontrent que notre framework surpasse les méthodes state-of-the-art, tout en permettant un rendu en temps réel avec une accélération d'environ ~43,7x sur des cartes de caractéristiques de 512 dimensions. Le code sera rendu public.

English

Recent advancements in computer vision have successfully extended Open-vocabulary segmentation (OVS) to the 3D domain by leveraging 3D Gaussian Splatting (3D-GS). Despite this progress, efficiently rendering the high-dimensional features required for open-vocabulary queries poses a significant challenge. Existing methods employ codebooks or feature compression, causing information loss, thereby degrading segmentation quality. To address this limitation, we introduce Quantile Rendering (Q-Render), a novel rendering strategy for 3D Gaussians that efficiently handles high-dimensional features while maintaining high fidelity. Unlike conventional volume rendering, which densely samples all 3D Gaussians intersecting each ray, Q-Render sparsely samples only those with dominant influence along the ray. By integrating Q-Render into a generalizable 3D neural network, we also propose Gaussian Splatting Network (GS-Net), which predicts Gaussian features in a generalizable manner. Extensive experiments on ScanNet and LeRF demonstrate that our framework outperforms state-of-the-art methods, while enabling real-time rendering with an approximate ~43.7x speedup on 512-D feature maps. Code will be made publicly available.