FullPart : Génération de chaque pièce 3D en pleine résolution

papers.abstract

La génération 3D basée sur les parties présente un grand potentiel pour diverses applications. Les générateurs de parties antérieurs, qui représentent les parties à l'aide de tokens vectoriels implicites, souffrent souvent d'un manque de détails géométriques. Une autre approche adopte une représentation voxelique explicite mais partage une grille voxelique globale entre toutes les parties ; cela entraîne souvent une occupation trop faible des voxels par les petites parties, conduisant à une qualité dégradée. Dans cet article, nous proposons FullPart, un nouveau cadre combinant les paradigmes implicite et explicite. Il dérive d'abord la disposition des boîtes englobantes via un processus de diffusion vectoriel implicite, une tâche que la diffusion implicite gère efficacement car les tokens de boîtes contiennent peu de détails géométriques. Ensuite, il génère des parties détaillées, chacune dans sa propre grille voxelique à pleine résolution. Au lieu de partager un espace global à basse résolution, chaque partie dans notre méthode – même les petites – est générée à pleine résolution, permettant la synthèse de détails complexes. Nous introduisons en outre une stratégie d'encodage par point central pour résoudre le problème de désalignement lors de l'échange d'informations entre des parties de tailles réelles différentes, préservant ainsi la cohérence globale. De plus, pour pallier la rareté des données de parties fiables, nous présentons PartVerse-XL, le plus grand jeu de données 3D de parties annotées manuellement à ce jour, avec 40 000 objets et 320 000 parties. Des expériences approfondies démontrent que FullPart obtient des résultats à l'état de l'art en génération de parties 3D. Nous publierons l'intégralité du code, des données et du modèle pour favoriser les recherches futures sur la génération de parties 3D.

English

Part-based 3D generation holds great potential for various applications. Previous part generators that represent parts using implicit vector-set tokens often suffer from insufficient geometric details. Another line of work adopts an explicit voxel representation but shares a global voxel grid among all parts; this often causes small parts to occupy too few voxels, leading to degraded quality. In this paper, we propose FullPart, a novel framework that combines both implicit and explicit paradigms. It first derives the bounding box layout through an implicit box vector-set diffusion process, a task that implicit diffusion handles effectively since box tokens contain little geometric detail. Then, it generates detailed parts, each within its own fixed full-resolution voxel grid. Instead of sharing a global low-resolution space, each part in our method - even small ones - is generated at full resolution, enabling the synthesis of intricate details. We further introduce a center-point encoding strategy to address the misalignment issue when exchanging information between parts of different actual sizes, thereby maintaining global coherence. Moreover, to tackle the scarcity of reliable part data, we present PartVerse-XL, the largest human-annotated 3D part dataset to date with 40K objects and 320K parts. Extensive experiments demonstrate that FullPart achieves state-of-the-art results in 3D part generation. We will release all code, data, and model to benefit future research in 3D part generation.

FullPart : Génération de chaque pièce 3D en pleine résolution

FullPart: Generating each 3D Part at Full Resolution

papers.abstract

Support