Segmentación Generalizada de Nubes de Puntos 3D con Pocos Ejemplos mediante Modelos de Visión-Lenguaje

Generalized Few-shot 3D Point Cloud Segmentation with Vision-Language Model

March 20, 2025

Autores: Zhaochong An, Guolei Sun, Yun Liu, Runjia Li, Junlin Han, Ender Konukoglu, Serge Belongie

cs.AI

Resumen

La segmentación generalizada de nubes de puntos 3D con pocos ejemplos (GFS-PCS, por sus siglas en inglés) adapta modelos a nuevas clases con pocas muestras de soporte, manteniendo la segmentación de las clases base. Los métodos existentes de GFS-PCS mejoran los prototipos mediante la interacción con características de soporte o consulta, pero siguen limitados por el conocimiento escaso derivado de las muestras de pocos ejemplos. Mientras tanto, los modelos de visión-lenguaje 3D (3D VLMs, por sus siglas en inglés), que generalizan a través de clases novedosas en entornos abiertos, contienen un conocimiento rico pero ruidoso sobre estas clases novedosas. En este trabajo, presentamos un marco de GFS-PCS que combina etiquetas pseudo densas pero ruidosas de los 3D VLMs con muestras precisas pero escasas de pocos ejemplos para maximizar las fortalezas de ambos, denominado GFS-VL. Específicamente, proponemos una selección de etiquetas pseudo guiada por prototipos para filtrar regiones de baja calidad, seguida de una estrategia de relleno adaptativo que combina el conocimiento de los contextos de las etiquetas pseudo y las muestras de pocos ejemplos para etiquetar de manera adaptativa las áreas filtradas y no etiquetadas. Además, diseñamos una estrategia de mezcla novedosa-base para integrar las muestras de pocos ejemplos en las escenas de entrenamiento, preservando el contexto esencial para mejorar el aprendizaje de clases novedosas. Asimismo, reconociendo la diversidad limitada en los puntos de referencia actuales de GFS-PCS, introducimos dos puntos de referencia desafiantes con diversas clases novedosas para una evaluación exhaustiva de la generalización. Los experimentos validan la efectividad de nuestro marco en diversos modelos y conjuntos de datos. Nuestro enfoque y puntos de referencia proporcionan una base sólida para avanzar en GFS-PCS en el mundo real. El código está disponible en https://github.com/ZhaochongAn/GFS-VL.

English

Generalized few-shot 3D point cloud segmentation (GFS-PCS) adapts models to new classes with few support samples while retaining base class segmentation. Existing GFS-PCS methods enhance prototypes via interacting with support or query features but remain limited by sparse knowledge from few-shot samples. Meanwhile, 3D vision-language models (3D VLMs), generalizing across open-world novel classes, contain rich but noisy novel class knowledge. In this work, we introduce a GFS-PCS framework that synergizes dense but noisy pseudo-labels from 3D VLMs with precise yet sparse few-shot samples to maximize the strengths of both, named GFS-VL. Specifically, we present a prototype-guided pseudo-label selection to filter low-quality regions, followed by an adaptive infilling strategy that combines knowledge from pseudo-label contexts and few-shot samples to adaptively label the filtered, unlabeled areas. Additionally, we design a novel-base mix strategy to embed few-shot samples into training scenes, preserving essential context for improved novel class learning. Moreover, recognizing the limited diversity in current GFS-PCS benchmarks, we introduce two challenging benchmarks with diverse novel classes for comprehensive generalization evaluation. Experiments validate the effectiveness of our framework across models and datasets. Our approach and benchmarks provide a solid foundation for advancing GFS-PCS in the real world. The code is at https://github.com/ZhaochongAn/GFS-VL