PartNeXt : Un jeu de données nouvelle génération pour la compréhension fine et hiérarchique des pièces 3D

PartNeXt: A Next-Generation Dataset for Fine-Grained and Hierarchical 3D Part Understanding

October 23, 2025

papers.authors: Penghao Wang, Yiyang He, Xin Lv, Yukai Zhou, Lan Xu, Jingyi Yu, Jiayuan Gu

cs.AI

papers.abstract

Comprendre les objets au niveau de leurs parties constitutives est fondamental pour faire progresser la vision par ordinateur, la synthèse d'images et la robotique. Si des jeux de données comme PartNet ont stimulé les progrès dans la compréhension des parties en 3D, leur dépendance à des géométries non texturées et à une annotation experte limite leur évolutivité et leur utilité. Nous présentons PartNeXt, un jeu de données de nouvelle génération qui comble ces lacunes avec plus de 23 000 modèles 3D texturés de haute qualité, annotés avec des étiquettes de parties hiérarchiques et fines réparties sur 50 catégories. Nous évaluons PartNeXt sur deux tâches : (1) la segmentation de parties agnostique aux classes, où les méthodes de pointe (par exemple, PartField, SAMPart3D) peinent avec les parties fines et de niveau feuille, et (2) le question-réponse centré sur les parties 3D, un nouveau benchmark pour les modèles de langage 3D qui révèle des lacunes significatives dans l'ancrage des parties en vocabulaire ouvert. De plus, l'entraînement de Point-SAM sur PartNeXt apporte des gains substantiels par rapport à PartNet, soulignant la qualité et la diversité supérieures du jeu de données. En combinant une annotation évolutive, des étiquettes sensibles aux textures et une évaluation multi-tâches, PartNeXt ouvre de nouvelles voies de recherche pour la compréhension structurée des objets 3D.

English

Understanding objects at the level of their constituent parts is fundamental to advancing computer vision, graphics, and robotics. While datasets like PartNet have driven progress in 3D part understanding, their reliance on untextured geometries and expert-dependent annotation limits scalability and usability. We introduce PartNeXt, a next-generation dataset addressing these gaps with over 23,000 high-quality, textured 3D models annotated with fine-grained, hierarchical part labels across 50 categories. We benchmark PartNeXt on two tasks: (1) class-agnostic part segmentation, where state-of-the-art methods (e.g., PartField, SAMPart3D) struggle with fine-grained and leaf-level parts, and (2) 3D part-centric question answering, a new benchmark for 3D-LLMs that reveals significant gaps in open-vocabulary part grounding. Additionally, training Point-SAM on PartNeXt yields substantial gains over PartNet, underscoring the dataset's superior quality and diversity. By combining scalable annotation, texture-aware labels, and multi-task evaluation, PartNeXt opens new avenues for research in structured 3D understanding.