비전-언어 모델을 활용한 일반화된 소샷 3D 포인트 클라우드 분할

Generalized Few-shot 3D Point Cloud Segmentation with Vision-Language Model

March 20, 2025

저자: Zhaochong An, Guolei Sun, Yun Liu, Runjia Li, Junlin Han, Ender Konukoglu, Serge Belongie

cs.AI

초록

일반화된 소수 샷 3D 포인트 클라우드 분할(GFS-PCS)은 기존 클래스 분할을 유지하면서 소수의 지원 샘플로 새로운 클래스에 모델을 적응시킵니다. 기존의 GFS-PCS 방법은 지원 또는 쿼리 특징과 상호작용하여 프로토타입을 강화하지만, 소수 샘플로부터 얻은 희소한 지식에 제한을 받습니다. 한편, 3D 비전-언어 모델(3D VLMs)은 오픈 월드의 새로운 클래스에 걸쳐 일반화하며 풍부하지만 노이즈가 많은 새로운 클래스 지식을 포함합니다. 본 연구에서는 3D VLMs에서 얻은 밀도는 높지만 노이즈가 있는 의사 레이블과 정확하지만 희소한 소수 샘플을 결합하여 두 가지의 강점을 극대화하는 GFS-PCS 프레임워크인 GFS-VL을 소개합니다. 구체적으로, 저품질 영역을 필터링하기 위한 프로토타입 기반 의사 레이블 선택을 제안하고, 의사 레이블 컨텍스트와 소수 샘플의 지식을 결합하여 필터링된 레이블 없는 영역을 적응적으로 레이블링하는 적응형 채우기 전략을 제시합니다. 또한, 새로운 클래스 학습을 개선하기 위해 필수적인 컨텍스트를 보존하면서 소수 샘플을 훈련 장면에 통합하는 신규-기반 혼합 전략을 설계합니다. 더불어, 현재 GFS-PCS 벤치마크의 다양성 부족을 인식하여, 포괄적인 일반화 평가를 위한 다양한 새로운 클래스를 포함한 두 가지 도전적인 벤치마크를 소개합니다. 실험을 통해 우리의 프레임워크가 다양한 모델과 데이터셋에서 효과적임을 검증합니다. 우리의 접근 방식과 벤치마크는 현실 세계에서 GFS-PCS를 발전시키기 위한 견고한 기반을 제공합니다. 코드는 https://github.com/ZhaochongAn/GFS-VL에서 확인할 수 있습니다.

English

Generalized few-shot 3D point cloud segmentation (GFS-PCS) adapts models to new classes with few support samples while retaining base class segmentation. Existing GFS-PCS methods enhance prototypes via interacting with support or query features but remain limited by sparse knowledge from few-shot samples. Meanwhile, 3D vision-language models (3D VLMs), generalizing across open-world novel classes, contain rich but noisy novel class knowledge. In this work, we introduce a GFS-PCS framework that synergizes dense but noisy pseudo-labels from 3D VLMs with precise yet sparse few-shot samples to maximize the strengths of both, named GFS-VL. Specifically, we present a prototype-guided pseudo-label selection to filter low-quality regions, followed by an adaptive infilling strategy that combines knowledge from pseudo-label contexts and few-shot samples to adaptively label the filtered, unlabeled areas. Additionally, we design a novel-base mix strategy to embed few-shot samples into training scenes, preserving essential context for improved novel class learning. Moreover, recognizing the limited diversity in current GFS-PCS benchmarks, we introduce two challenging benchmarks with diverse novel classes for comprehensive generalization evaluation. Experiments validate the effectiveness of our framework across models and datasets. Our approach and benchmarks provide a solid foundation for advancing GFS-PCS in the real world. The code is at https://github.com/ZhaochongAn/GFS-VL