3D Выпуклое сглаживание: Визуализация поля излучения с 3D гладкими выпуклыми объектами.

3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

November 22, 2024

Авторы: Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

cs.AI

Аннотация

Недавние достижения в восстановлении поля яркости, такие как 3D Гауссово сплетение (3DGS), позволили достичь высококачественного синтеза нового вида и быстрой отрисовки, представляя сцены с помощью композиций гауссовых примитивов. Однако 3D Гауссианы имеют несколько ограничений для восстановления сцены. Точное воспроизведение резких краев затруднительно без значительного увеличения количества Гауссианов, что приводит к большому объему памяти. Более того, они имеют проблемы с представлением плоских поверхностей, так как они диффундируются в пространстве. Без ручных регуляризаторов они склонны неравномерно распределяться вокруг фактической поверхности. Для обхода этих проблем мы представляем новый метод, названный 3D Конвексное сплетение (3DCS), который использует 3D гладкие выпуклые формы в качестве примитивов для моделирования геометрически значимых полей яркости из многовидовых изображений. Гладкие выпуклые формы предлагают большую гибкость по сравнению с Гауссианами, что позволяет лучше представлять 3D сцены с резкими краями и плотными объемами, используя меньшее количество примитивов. Благодаря нашему эффективному растеризатору на основе CUDA, 3DCS достигает превосходной производительности по сравнению с 3DGS на бенчмарках, таких как Mip-NeRF360, Tanks and Temples и Deep Blending. В частности, наш метод достигает улучшения до 0.81 в PSNR и 0.026 в LPIPS по сравнению с 3DGS, сохраняя высокие скорости отрисовки и сокращая количество необходимых примитивов. Наши результаты подчеркивают потенциал 3D Конвексного сплетения стать новым стандартом для высококачественного восстановления сцены и синтеза нового вида. Страница проекта: convexsplatting.github.io.

English

Recent advances in radiance field reconstruction, such as 3D Gaussian Splatting (3DGS), have achieved high-quality novel view synthesis and fast rendering by representing scenes with compositions of Gaussian primitives. However, 3D Gaussians present several limitations for scene reconstruction. Accurately capturing hard edges is challenging without significantly increasing the number of Gaussians, creating a large memory footprint. Moreover, they struggle to represent flat surfaces, as they are diffused in space. Without hand-crafted regularizers, they tend to disperse irregularly around the actual surface. To circumvent these issues, we introduce a novel method, named 3D Convex Splatting (3DCS), which leverages 3D smooth convexes as primitives for modeling geometrically-meaningful radiance fields from multi-view images. Smooth convex shapes offer greater flexibility than Gaussians, allowing for a better representation of 3D scenes with hard edges and dense volumes using fewer primitives. Powered by our efficient CUDA-based rasterizer, 3DCS achieves superior performance over 3DGS on benchmarks such as Mip-NeRF360, Tanks and Temples, and Deep Blending. Specifically, our method attains an improvement of up to 0.81 in PSNR and 0.026 in LPIPS compared to 3DGS while maintaining high rendering speeds and reducing the number of required primitives. Our results highlight the potential of 3D Convex Splatting to become the new standard for high-quality scene reconstruction and novel view synthesis. Project page: convexsplatting.github.io.