Квантильная визуализация: эффективное встраивание многомерных признаков в 3D-гауссовы сплаты
Quantile Rendering: Efficiently Embedding High-dimensional Feature on 3D Gaussian Splatting
December 24, 2025
Авторы: Yoonwoo Jeong, Cheng Sun, Frank Wang, Minsu Cho, Jaesung Choe
cs.AI
Аннотация
Последние достижения в области компьютерного зрения позволили успешно распространить сегментацию с открытым словарем (Open-vocabulary segmentation, OVS) на трёхмерную область благодаря использованию метода трёхмерного гауссовского разбрызгивания (3D-GS). Несмотря на этот прогресс, эффективный рендеринг высокоразмерных признаков, необходимых для запросов с открытым словарем, остаётся серьёзной проблемой. Существующие методы используют кодбуки или сжатие признаков, что приводит к потере информации и, как следствие, к снижению качества сегментации. Для решения этой проблемы мы представляем Quantile Rendering (Q-Render) — новую стратегию рендеринга для 3D-гауссовских функций, которая эффективно работает с высокоразмерными признаками, сохраняя высокую точность. В отличие от традиционного объёмного рендеринга, который плотно семплирует все 3D-гауссовские функции, пересекаемые каждым лучом, Q-Render разреженно семплирует только те из них, которые оказывают доминирующее влияние вдоль луча. Интегрировав Q-Render в обобщающую трёхмерную нейронную сеть, мы также предлагаем Gaussian Splatting Network (GS-Net), которая предсказывает признаки гауссовских функций обобщающим образом. Многочисленные эксперименты на наборах данных ScanNet и LeRF показывают, что наш подход превосходит современные методы, обеспечивая при этом рендеринг в реальном времени с приблизительным ускорением в ~43.7 раза для карт признаков размерностью 512. Код будет общедоступен.
English
Recent advancements in computer vision have successfully extended Open-vocabulary segmentation (OVS) to the 3D domain by leveraging 3D Gaussian Splatting (3D-GS). Despite this progress, efficiently rendering the high-dimensional features required for open-vocabulary queries poses a significant challenge. Existing methods employ codebooks or feature compression, causing information loss, thereby degrading segmentation quality. To address this limitation, we introduce Quantile Rendering (Q-Render), a novel rendering strategy for 3D Gaussians that efficiently handles high-dimensional features while maintaining high fidelity. Unlike conventional volume rendering, which densely samples all 3D Gaussians intersecting each ray, Q-Render sparsely samples only those with dominant influence along the ray. By integrating Q-Render into a generalizable 3D neural network, we also propose Gaussian Splatting Network (GS-Net), which predicts Gaussian features in a generalizable manner. Extensive experiments on ScanNet and LeRF demonstrate that our framework outperforms state-of-the-art methods, while enabling real-time rendering with an approximate ~43.7x speedup on 512-D feature maps. Code will be made publicly available.