Обобщённая сегментация 3D-облаков точек с малым количеством примеров с использованием визуально-языковой модели

Generalized Few-shot 3D Point Cloud Segmentation with Vision-Language Model

March 20, 2025

Авторы: Zhaochong An, Guolei Sun, Yun Liu, Runjia Li, Junlin Han, Ender Konukoglu, Serge Belongie

cs.AI

Аннотация

Обобщённая сегментация 3D облаков точек с малым количеством примеров (GFS-PCS) адаптирует модели к новым классам с использованием небольшого числа опорных образцов, сохраняя при этом сегментацию базовых классов. Существующие методы GFS-PCS улучшают прототипы за счёт взаимодействия с признаками опорных или запросных данных, но остаются ограниченными из-за скудности знаний, полученных из малого числа примеров. В то же время 3D модели, объединяющие визуальные и языковые данные (3D VLMs), обобщают знания для новых классов в открытом мире, содержат богатую, но зашумлённую информацию о новых классах. В данной работе мы представляем фреймворк GFS-PCS, который объединяет плотные, но зашумлённые псевдо-метки из 3D VLMs с точными, но редкими примерами с малым количеством образцов, чтобы максимально использовать сильные стороны обоих подходов, названный GFS-VL. В частности, мы предлагаем метод выбора псевдо-меток на основе прототипов для фильтрации низкокачественных областей, за которым следует стратегия адаптивного заполнения, объединяющая знания из контекстов псевдо-меток и примеров с малым количеством образцов для адаптивной маркировки отфильтрованных, немаркированных областей. Кроме того, мы разрабатываем стратегию смешивания новых и базовых классов для встраивания примеров с малым количеством образцов в обучающие сцены, сохраняя важный контекст для улучшения обучения новым классам. Более того, учитывая ограниченное разнообразие в текущих бенчмарках GFS-PCS, мы вводим два сложных бенчмарка с разнообразными новыми классами для всесторонней оценки обобщения. Эксперименты подтверждают эффективность нашего фреймворка на различных моделях и наборах данных. Наш подход и бенчмарки предоставляют прочную основу для продвижения GFS-PCS в реальных условиях. Код доступен по адресу: https://github.com/ZhaochongAn/GFS-VL.

English

Generalized few-shot 3D point cloud segmentation (GFS-PCS) adapts models to new classes with few support samples while retaining base class segmentation. Existing GFS-PCS methods enhance prototypes via interacting with support or query features but remain limited by sparse knowledge from few-shot samples. Meanwhile, 3D vision-language models (3D VLMs), generalizing across open-world novel classes, contain rich but noisy novel class knowledge. In this work, we introduce a GFS-PCS framework that synergizes dense but noisy pseudo-labels from 3D VLMs with precise yet sparse few-shot samples to maximize the strengths of both, named GFS-VL. Specifically, we present a prototype-guided pseudo-label selection to filter low-quality regions, followed by an adaptive infilling strategy that combines knowledge from pseudo-label contexts and few-shot samples to adaptively label the filtered, unlabeled areas. Additionally, we design a novel-base mix strategy to embed few-shot samples into training scenes, preserving essential context for improved novel class learning. Moreover, recognizing the limited diversity in current GFS-PCS benchmarks, we introduce two challenging benchmarks with diverse novel classes for comprehensive generalization evaluation. Experiments validate the effectiveness of our framework across models and datasets. Our approach and benchmarks provide a solid foundation for advancing GFS-PCS in the real world. The code is at https://github.com/ZhaochongAn/GFS-VL