Gegeneraliseerde Few-shot 3D-puntenwolksegmentatie met Vision-Language Model

Generalized Few-shot 3D Point Cloud Segmentation with Vision-Language Model

March 20, 2025

Auteurs: Zhaochong An, Guolei Sun, Yun Liu, Runjia Li, Junlin Han, Ender Konukoglu, Serge Belongie

cs.AI

Samenvatting

Gegeneraliseerde few-shot 3D-puntenwolksegmentatie (GFS-PCS) past modellen aan aan nieuwe klassen met weinig steunmonsters, terwijl de segmentatie van basisklassen behouden blijft. Bestaande GFS-PCS-methoden verbeteren prototypes door interactie met steun- of querykenmerken, maar blijven beperkt door de schaarse kennis uit few-shot-monsters. Tegelijkertijd bevatten 3D-visie-taalmodelen (3D VLMs), die generaliseren over open-wereld nieuwe klassen, rijke maar ruisachtige kennis over nieuwe klassen. In dit werk introduceren we een GFS-PCS-raamwerk dat dichte maar ruisachtige pseudo-labels van 3D VLMs combineert met precieze maar schaarse few-shot-monsters om de sterke punten van beide te maximaliseren, genaamd GFS-VL. Specifiek presenteren we een prototype-gestuurde pseudo-labelselectie om regio's van lage kwaliteit te filteren, gevolgd door een adaptieve invulstrategie die kennis combineert uit pseudo-labelcontexten en few-shot-monsters om de gefilterde, ongelabelde gebieden adaptief te labelen. Daarnaast ontwerpen we een novel-base mix-strategie om few-shot-monsters in trainingsscènes in te bedden, waardoor essentiële context behouden blijft voor verbeterd leren van nieuwe klassen. Bovendien, erkennend de beperkte diversiteit in huidige GFS-PCS-benchmarks, introduceren we twee uitdagende benchmarks met diverse nieuwe klassen voor uitgebreide generalisatie-evaluatie. Experimenten valideren de effectiviteit van ons raamwerk over modellen en datasets heen. Onze aanpak en benchmarks bieden een solide basis voor het bevorderen van GFS-PCS in de echte wereld. De code is te vinden op https://github.com/ZhaochongAn/GFS-VL.

English

Generalized few-shot 3D point cloud segmentation (GFS-PCS) adapts models to new classes with few support samples while retaining base class segmentation. Existing GFS-PCS methods enhance prototypes via interacting with support or query features but remain limited by sparse knowledge from few-shot samples. Meanwhile, 3D vision-language models (3D VLMs), generalizing across open-world novel classes, contain rich but noisy novel class knowledge. In this work, we introduce a GFS-PCS framework that synergizes dense but noisy pseudo-labels from 3D VLMs with precise yet sparse few-shot samples to maximize the strengths of both, named GFS-VL. Specifically, we present a prototype-guided pseudo-label selection to filter low-quality regions, followed by an adaptive infilling strategy that combines knowledge from pseudo-label contexts and few-shot samples to adaptively label the filtered, unlabeled areas. Additionally, we design a novel-base mix strategy to embed few-shot samples into training scenes, preserving essential context for improved novel class learning. Moreover, recognizing the limited diversity in current GFS-PCS benchmarks, we introduce two challenging benchmarks with diverse novel classes for comprehensive generalization evaluation. Experiments validate the effectiveness of our framework across models and datasets. Our approach and benchmarks provide a solid foundation for advancing GFS-PCS in the real world. The code is at https://github.com/ZhaochongAn/GFS-VL