PartNeXt: 세분화 및 계층적 3D 부품 이해를 위한 차세대 데이터셋

초록

물체를 구성 요소 수준에서 이해하는 것은 컴퓨터 비전, 그래픽스 및 로봇공학의 발전을 위한 핵심 요소입니다. PartNet과 같은 데이터셋이 3D 부품 이해 분야의 진전을 이끌어왔지만, 텍스처가 없는 기하학적 데이터와 전문가 의존적 주석 방식은 확장성과 사용성을 제한합니다. 본 연구는 이러한 한계를 해결하는 차세대 데이터셋인 PartNeXt를 소개합니다. PartNeXt는 50개 범주에 걸쳐 정밀한 계층적 부품 라벨이 지정된 23,000개 이상의 고품질 텍스처 3D 모델로 구성됩니다. PartNeXt에 대한 성능 평가는 두 가지 작업을 통해 진행했습니다. (1) 클래스 불문 부품 분할: 최신 방법론(예: PartField, SAMPart3D)이 정밀 부품 및 말단 수준 부품 인식에 어려움을 보였으며, (2) 3D 부품 중심 질의응답: 오픈 보컬러리 부품 기반 이해에 상당한 격차가 드러난 3D-LLM용 새로운 벤치마크입니다. 또한 PartNeXt로 Point-SAM을 학습시킨 결과 PartNet 대비 상당한 성능 향상을 확인하여 본 데이터셋의 우수한 품질과 다양성을 입증했습니다. 확장 가능한 주석, 텍스처 인식 라벨 및 다중 작업 평가를 결합한 PartNeXt는 구조화된 3D 이해 연구에 새로운 가능성을 제시합니다.

English

Understanding objects at the level of their constituent parts is fundamental to advancing computer vision, graphics, and robotics. While datasets like PartNet have driven progress in 3D part understanding, their reliance on untextured geometries and expert-dependent annotation limits scalability and usability. We introduce PartNeXt, a next-generation dataset addressing these gaps with over 23,000 high-quality, textured 3D models annotated with fine-grained, hierarchical part labels across 50 categories. We benchmark PartNeXt on two tasks: (1) class-agnostic part segmentation, where state-of-the-art methods (e.g., PartField, SAMPart3D) struggle with fine-grained and leaf-level parts, and (2) 3D part-centric question answering, a new benchmark for 3D-LLMs that reveals significant gaps in open-vocabulary part grounding. Additionally, training Point-SAM on PartNeXt yields substantial gains over PartNet, underscoring the dataset's superior quality and diversity. By combining scalable annotation, texture-aware labels, and multi-task evaluation, PartNeXt opens new avenues for research in structured 3D understanding.

PartNeXt: 세분화 및 계층적 3D 부품 이해를 위한 차세대 데이터셋

PartNeXt: A Next-Generation Dataset for Fine-Grained and Hierarchical 3D Part Understanding

초록

Support