Сегментируйте любые 3D-гауссовы распределения

Segment Any 3D Gaussians

December 1, 2023

Авторы: Jiazhong Cen, Jiemin Fang, Chen Yang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian

cs.AI

Аннотация

Интерактивная 3D-сегментация в полях излучения представляет собой важную задачу, учитывая её значимость для понимания и манипуляции 3D-сценами. Однако существующие методы сталкиваются с трудностями либо в достижении детальной, многоуровневой сегментации, либо в борьбе с существенными вычислительными затратами, что препятствует взаимодействию в реальном времени. В данной статье мы представляем Segment Any 3D GAussians (SAGA) — новый подход к интерактивной 3D-сегментации, который гармонично сочетает базовую модель 2D-сегментации с 3D Gaussian Splatting (3DGS), недавним прорывом в области полей излучения. SAGA эффективно встраивает многоуровневые результаты 2D-сегментации, сгенерированные базовой моделью, в признаки 3D-гауссовых точек с помощью тщательно разработанного контрастного обучения. Оценка на существующих бенчмарках показывает, что SAGA может достичь конкурентоспособной производительности по сравнению с передовыми методами. Более того, SAGA обеспечивает многоуровневую сегментацию и поддерживает различные типы подсказок, включая точки, штрихи и 2D-маски. Примечательно, что SAGA завершает 3D-сегментацию за миллисекунды, достигая ускорения почти в 1000 раз по сравнению с предыдущими SOTA. Страница проекта доступна по адресу https://jumpat.github.io/SAGA.

English

Interactive 3D segmentation in radiance fields is an appealing task since its importance in 3D scene understanding and manipulation. However, existing methods face challenges in either achieving fine-grained, multi-granularity segmentation or contending with substantial computational overhead, inhibiting real-time interaction. In this paper, we introduce Segment Any 3D GAussians (SAGA), a novel 3D interactive segmentation approach that seamlessly blends a 2D segmentation foundation model with 3D Gaussian Splatting (3DGS), a recent breakthrough of radiance fields. SAGA efficiently embeds multi-granularity 2D segmentation results generated by the segmentation foundation model into 3D Gaussian point features through well-designed contrastive training. Evaluation on existing benchmarks demonstrates that SAGA can achieve competitive performance with state-of-the-art methods. Moreover, SAGA achieves multi-granularity segmentation and accommodates various prompts, including points, scribbles, and 2D masks. Notably, SAGA can finish the 3D segmentation within milliseconds, achieving nearly 1000x acceleration compared to previous SOTA. The project page is at https://jumpat.github.io/SAGA.