PartNeXt: 細粒度階層的3D部品理解のための次世代データセット

要旨

物体を構成要素レベルで理解することは、コンピュータビジョン、グラフィックス、ロボティクスの発展において基礎的である。PartNetのようなデータセットは3D部品理解の進展を促進してきたが、テクスチャのない幾何学形状と専門家依存のアノテーションに依存しているため、拡張性と有用性が制限されている。我々はこれらの課題を解決する次世代データセットPartNeXtを提案する。PartNeXtは50のカテゴリーにわたる細粒度の階層的部品ラベルで注釈付けされた23,000以上の高品質なテクスチャ付き3Dモデルを提供する。PartNeXtを用いて2つのタスクでベンチマーク評価を行った：(1) クラス非依存の部品セグメンテーションでは、最先端手法（PartField、SAMParts3D等）が細粒度および末端レベルの部品に対して苦戦を示し、(2) 3D部品中心質問応答では、オープン語彙による部品接地における重大な課題が明らかになった。さらに、PartNeXtでPoint-SAMを学習させた結果、PartNetを使用した場合を大幅に上回る性能向上が得られ、本データセットの優れた品質と多様性が実証された。拡張可能なアノテーション、テクスチャを考慮したラベル付け、マルチタスク評価を組み合わせることで、PartNeXtは構造化された3D理解の研究に新たな道を開くものである。

English

Understanding objects at the level of their constituent parts is fundamental to advancing computer vision, graphics, and robotics. While datasets like PartNet have driven progress in 3D part understanding, their reliance on untextured geometries and expert-dependent annotation limits scalability and usability. We introduce PartNeXt, a next-generation dataset addressing these gaps with over 23,000 high-quality, textured 3D models annotated with fine-grained, hierarchical part labels across 50 categories. We benchmark PartNeXt on two tasks: (1) class-agnostic part segmentation, where state-of-the-art methods (e.g., PartField, SAMPart3D) struggle with fine-grained and leaf-level parts, and (2) 3D part-centric question answering, a new benchmark for 3D-LLMs that reveals significant gaps in open-vocabulary part grounding. Additionally, training Point-SAM on PartNeXt yields substantial gains over PartNet, underscoring the dataset's superior quality and diversity. By combining scalable annotation, texture-aware labels, and multi-task evaluation, PartNeXt opens new avenues for research in structured 3D understanding.

PartNeXt: 細粒度階層的3D部品理解のための次世代データセット

PartNeXt: A Next-Generation Dataset for Fine-Grained and Hierarchical 3D Part Understanding

要旨

Support