Segmentazione Generalizzata di Nuvole di Punti 3D con Modelli Visione-Linguaggio in Condizioni di Scarsità di Dati

Generalized Few-shot 3D Point Cloud Segmentation with Vision-Language Model

March 20, 2025

Autori: Zhaochong An, Guolei Sun, Yun Liu, Runjia Li, Junlin Han, Ender Konukoglu, Serge Belongie

cs.AI

Abstract

La segmentazione generalizzata di nuvole di punti 3D con pochi esempi (GFS-PCS) adatta i modelli a nuove classi con un numero limitato di campioni di supporto, mantenendo al contempo la segmentazione delle classi base. I metodi esistenti di GFS-PCS migliorano i prototipi interagendo con le caratteristiche di supporto o di query, ma rimangono limitati dalla conoscenza sparsa derivante dai campioni con pochi esempi. Nel frattempo, i modelli di visione e linguaggio 3D (3D VLMs), che generalizzano attraverso classi nuove del mondo aperto, contengono una conoscenza ricca ma rumorosa delle classi nuove. In questo lavoro, introduciamo un framework GFS-PCS che sinergizza etichette pseudo dense ma rumorose provenienti da 3D VLMs con campioni precisi ma sparsi di pochi esempi per massimizzare i punti di forza di entrambi, denominato GFS-VL. Nello specifico, presentiamo una selezione di etichette pseudo guidata da prototipi per filtrare le regioni di bassa qualità, seguita da una strategia di riempimento adattivo che combina la conoscenza dai contesti delle etichette pseudo e dai campioni di pochi esempi per etichettare in modo adattivo le aree filtrate e non etichettate. Inoltre, progettiamo una strategia di miscelazione novel-base per incorporare i campioni di pochi esempi nelle scene di addestramento, preservando il contesto essenziale per un migliore apprendimento delle classi nuove. Inoltre, riconoscendo la limitata diversità negli attuali benchmark GFS-PCS, introduciamo due benchmark impegnativi con classi nuove diverse per una valutazione completa della generalizzazione. Gli esperimenti convalidano l'efficacia del nostro framework attraverso modelli e dataset. Il nostro approccio e i benchmark forniscono una solida base per avanzare la GFS-PCS nel mondo reale. Il codice è disponibile su https://github.com/ZhaochongAn/GFS-VL.

English

Generalized few-shot 3D point cloud segmentation (GFS-PCS) adapts models to new classes with few support samples while retaining base class segmentation. Existing GFS-PCS methods enhance prototypes via interacting with support or query features but remain limited by sparse knowledge from few-shot samples. Meanwhile, 3D vision-language models (3D VLMs), generalizing across open-world novel classes, contain rich but noisy novel class knowledge. In this work, we introduce a GFS-PCS framework that synergizes dense but noisy pseudo-labels from 3D VLMs with precise yet sparse few-shot samples to maximize the strengths of both, named GFS-VL. Specifically, we present a prototype-guided pseudo-label selection to filter low-quality regions, followed by an adaptive infilling strategy that combines knowledge from pseudo-label contexts and few-shot samples to adaptively label the filtered, unlabeled areas. Additionally, we design a novel-base mix strategy to embed few-shot samples into training scenes, preserving essential context for improved novel class learning. Moreover, recognizing the limited diversity in current GFS-PCS benchmarks, we introduce two challenging benchmarks with diverse novel classes for comprehensive generalization evaluation. Experiments validate the effectiveness of our framework across models and datasets. Our approach and benchmarks provide a solid foundation for advancing GFS-PCS in the real world. The code is at https://github.com/ZhaochongAn/GFS-VL