汎用化されたFew-shot 3D点群セグメンテーションと視覚-言語モデル

Generalized Few-shot 3D Point Cloud Segmentation with Vision-Language Model

March 20, 2025

著者: Zhaochong An, Guolei Sun, Yun Liu, Runjia Li, Junlin Han, Ender Konukoglu, Serge Belongie

cs.AI

要旨

一般化されたFew-shot 3D点群セグメンテーション（GFS-PCS）は、ベースクラスのセグメンテーションを維持しながら、少数のサポートサンプルで新しいクラスにモデルを適応させます。既存のGFS-PCS手法は、サポートまたはクエリ特徴との相互作用を通じてプロトタイプを強化しますが、Few-shotサンプルからの疎な知識に制限されています。一方、3D視覚言語モデル（3D VLM）は、オープンワールドの新規クラスにわたって一般化し、豊富だがノイズの多い新規クラスの知識を含んでいます。本研究では、3D VLMからの密だがノイズの多い疑似ラベルと、正確だが疎なFew-shotサンプルを統合し、両方の強みを最大限に活用するGFS-PCSフレームワークを導入し、GFS-VLと名付けました。具体的には、低品質な領域をフィルタリングするためのプロトタイプガイド付き疑似ラベル選択を提示し、その後、疑似ラベルのコンテキストとFew-shotサンプルの知識を組み合わせて、フィルタリングされた未ラベル領域を適応的にラベル付けする適応型充填戦略を採用します。さらに、Few-shotサンプルをトレーニングシーンに埋め込み、新規クラスの学習を改善するために必要なコンテキストを保持する新規ベースミックス戦略を設計します。さらに、現在のGFS-PCSベンチマークの多様性の限界を認識し、包括的な一般化評価のための多様な新規クラスを含む2つの挑戦的なベンチマークを導入します。実験により、モデルとデータセットにわたる我々のフレームワークの有効性が検証されました。我々のアプローチとベンチマークは、現実世界でのGFS-PCSの進展のための堅固な基盤を提供します。コードはhttps://github.com/ZhaochongAn/GFS-VLにあります。

English

Generalized few-shot 3D point cloud segmentation (GFS-PCS) adapts models to new classes with few support samples while retaining base class segmentation. Existing GFS-PCS methods enhance prototypes via interacting with support or query features but remain limited by sparse knowledge from few-shot samples. Meanwhile, 3D vision-language models (3D VLMs), generalizing across open-world novel classes, contain rich but noisy novel class knowledge. In this work, we introduce a GFS-PCS framework that synergizes dense but noisy pseudo-labels from 3D VLMs with precise yet sparse few-shot samples to maximize the strengths of both, named GFS-VL. Specifically, we present a prototype-guided pseudo-label selection to filter low-quality regions, followed by an adaptive infilling strategy that combines knowledge from pseudo-label contexts and few-shot samples to adaptively label the filtered, unlabeled areas. Additionally, we design a novel-base mix strategy to embed few-shot samples into training scenes, preserving essential context for improved novel class learning. Moreover, recognizing the limited diversity in current GFS-PCS benchmarks, we introduce two challenging benchmarks with diverse novel classes for comprehensive generalization evaluation. Experiments validate the effectiveness of our framework across models and datasets. Our approach and benchmarks provide a solid foundation for advancing GFS-PCS in the real world. The code is at https://github.com/ZhaochongAn/GFS-VL