SAMPart3D: Segmentación de Cualquier Parte en Objetos 3D

SAMPart3D: Segment Any Part in 3D Objects

November 11, 2024

Autores: Yunhan Yang, Yukun Huang, Yuan-Chen Guo, Liangjun Lu, Xiaoyang Wu, Edmund Y. Lam, Yan-Pei Cao, Xihui Liu

cs.AI

Resumen

La segmentación de partes en 3D es una tarea crucial y desafiante en la percepción 3D, desempeñando un papel vital en aplicaciones como la robótica, la generación en 3D y la edición en 3D. Métodos recientes aprovechan los potentes Modelos de Visión y Lenguaje (VLMs, por sus siglas en inglés) para la destilación de conocimiento de 2D a 3D, logrando la segmentación de partes en 3D sin entrenamiento previo. Sin embargo, estos métodos están limitados por su dependencia de indicaciones de texto, lo que restringe la escalabilidad a conjuntos de datos no etiquetados a gran escala y la flexibilidad para manejar ambigüedades en las partes. En este trabajo, presentamos SAMPart3D, un marco escalable de segmentación de partes en 3D sin entrenamiento previo que segmenta cualquier objeto en 3D en partes semánticas a múltiples niveles de granularidad, sin necesidad de conjuntos de etiquetas de partes predefinidas como indicaciones de texto. Para la escalabilidad, utilizamos modelos de visión fundamentales agnósticos al texto para destilar una columna vertebral de extracción de características en 3D, permitiendo la expansión a grandes conjuntos de datos en 3D no etiquetados para aprender prioridades en 3D detalladas. Para la flexibilidad, destilamos características en 3D conscientes de la escala y de las partes para la segmentación de partes en 3D a múltiples niveles de granularidad. Una vez que se obtienen las partes segmentadas a partir de las características en 3D conscientes de la escala y de las partes, utilizamos los VLMs para asignar etiquetas semánticas a cada parte basándonos en las representaciones de múltiples vistas. En comparación con los métodos anteriores, nuestro SAMPart3D puede expandirse al reciente conjunto de datos de objetos en 3D a gran escala, Objaverse, y manejar objetos complejos y no ordinarios. Además, contribuimos con un nuevo banco de pruebas de segmentación de partes en 3D para abordar la falta de diversidad y complejidad de objetos y partes en los bancos de pruebas existentes. Los experimentos muestran que nuestro SAMPart3D supera significativamente a los métodos existentes de segmentación de partes en 3D sin entrenamiento previo, y puede facilitar diversas aplicaciones como la edición a nivel de partes y la segmentación interactiva.

English

3D part segmentation is a crucial and challenging task in 3D perception, playing a vital role in applications such as robotics, 3D generation, and 3D editing. Recent methods harness the powerful Vision Language Models (VLMs) for 2D-to-3D knowledge distillation, achieving zero-shot 3D part segmentation. However, these methods are limited by their reliance on text prompts, which restricts the scalability to large-scale unlabeled datasets and the flexibility in handling part ambiguities. In this work, we introduce SAMPart3D, a scalable zero-shot 3D part segmentation framework that segments any 3D object into semantic parts at multiple granularities, without requiring predefined part label sets as text prompts. For scalability, we use text-agnostic vision foundation models to distill a 3D feature extraction backbone, allowing scaling to large unlabeled 3D datasets to learn rich 3D priors. For flexibility, we distill scale-conditioned part-aware 3D features for 3D part segmentation at multiple granularities. Once the segmented parts are obtained from the scale-conditioned part-aware 3D features, we use VLMs to assign semantic labels to each part based on the multi-view renderings. Compared to previous methods, our SAMPart3D can scale to the recent large-scale 3D object dataset Objaverse and handle complex, non-ordinary objects. Additionally, we contribute a new 3D part segmentation benchmark to address the lack of diversity and complexity of objects and parts in existing benchmarks. Experiments show that our SAMPart3D significantly outperforms existing zero-shot 3D part segmentation methods, and can facilitate various applications such as part-level editing and interactive segmentation.