Segmentação Generalizada de Nuvens de Pontos 3D com Poucos Exemplos Usando Modelos Visão-Linguagem

Generalized Few-shot 3D Point Cloud Segmentation with Vision-Language Model

March 20, 2025

Autores: Zhaochong An, Guolei Sun, Yun Liu, Runjia Li, Junlin Han, Ender Konukoglu, Serge Belongie

cs.AI

Resumo

A segmentação generalizada de nuvens de pontos 3D com poucos exemplos (GFS-PCS) adapta modelos a novas classes com poucas amostras de suporte, mantendo a segmentação das classes base. Os métodos existentes de GFS-PCS aprimoram protótipos por meio da interação com características de suporte ou consulta, mas ainda são limitados pelo conhecimento esparso proveniente de amostras com poucos exemplos. Enquanto isso, modelos de visão e linguagem 3D (3D VLMs), que generalizam em classes novas do mundo aberto, contêm conhecimento rico, porém ruidoso, sobre classes novas. Neste trabalho, introduzimos um framework de GFS-PCS que sinergiza pseudo-labels densos, mas ruidosos, de 3D VLMs com amostras de poucos exemplos precisas, porém esparsas, para maximizar os pontos fortes de ambos, denominado GFS-VL. Especificamente, apresentamos uma seleção de pseudo-labels guiada por protótipos para filtrar regiões de baixa qualidade, seguida por uma estratégia de preenchimento adaptativo que combina conhecimento de contextos de pseudo-labels e amostras de poucos exemplos para rotular de forma adaptativa as áreas filtradas e não rotuladas. Além disso, projetamos uma estratégia de mistura de classes novas e base para incorporar amostras de poucos exemplos em cenas de treinamento, preservando o contexto essencial para melhorar o aprendizado de classes novas. Adicionalmente, reconhecendo a diversidade limitada nos benchmarks atuais de GFS-PCS, introduzimos dois benchmarks desafiadores com diversas classes novas para avaliação abrangente de generalização. Experimentos validam a eficácia do nosso framework em diferentes modelos e conjuntos de dados. Nossa abordagem e benchmarks fornecem uma base sólida para o avanço do GFS-PCS no mundo real. O código está disponível em https://github.com/ZhaochongAn/GFS-VL.

English

Generalized few-shot 3D point cloud segmentation (GFS-PCS) adapts models to new classes with few support samples while retaining base class segmentation. Existing GFS-PCS methods enhance prototypes via interacting with support or query features but remain limited by sparse knowledge from few-shot samples. Meanwhile, 3D vision-language models (3D VLMs), generalizing across open-world novel classes, contain rich but noisy novel class knowledge. In this work, we introduce a GFS-PCS framework that synergizes dense but noisy pseudo-labels from 3D VLMs with precise yet sparse few-shot samples to maximize the strengths of both, named GFS-VL. Specifically, we present a prototype-guided pseudo-label selection to filter low-quality regions, followed by an adaptive infilling strategy that combines knowledge from pseudo-label contexts and few-shot samples to adaptively label the filtered, unlabeled areas. Additionally, we design a novel-base mix strategy to embed few-shot samples into training scenes, preserving essential context for improved novel class learning. Moreover, recognizing the limited diversity in current GFS-PCS benchmarks, we introduce two challenging benchmarks with diverse novel classes for comprehensive generalization evaluation. Experiments validate the effectiveness of our framework across models and datasets. Our approach and benchmarks provide a solid foundation for advancing GFS-PCS in the real world. The code is at https://github.com/ZhaochongAn/GFS-VL