FullPart: Генерация каждой 3D-детали в полном разрешении

Аннотация

Покомпонентная 3D-генерация обладает значительным потенциалом для различных приложений. Предыдущие генераторы компонентов, использующие неявные векторно-множественные токены для представления частей, часто страдают от недостаточной геометрической детализации. Другое направление исследований применяет явное воксельное представление, но использует общую глобальную воксельную сетку для всех компонентов; это часто приводит к тому, что мелкие части занимают слишком мало вокселей, что снижает качество. В данной статье мы предлагаем FullPart — новую архитектуру, сочетающую неявную и явную парадигмы. Сначала она выводит bounding box-компоновку через процесс неявной диффузии векторных множеств боксов — задачу, которую неявная диффузия эффективно решает, поскольку токены боксов содержат минимум геометрических деталей. Затем генерируются детализированные компоненты, каждый в своей собственной фиксированной воксельной сетке полного разрешения. Вместо использования общего глобального пространства низкого разрешения, каждый компонент в нашем методе — даже мелкий — генерируется в полном разрешении, что позволяет синтезировать сложные детали. Мы также вводим стратегию кодирования центральной точки для решения проблемы несоответствия при обмене информацией между частями разного фактического размера, сохраняя глобальную согласованность. Кроме того, для преодоления дефицита надежных данных по компонентам мы представляем PartVerse-XL — крупнейший на сегодняшний день размеченный вручную набор данных 3D-компонентов, содержащий 40 тыс. объектов и 320 тыс. частей. Многочисленные эксперименты демонстрируют, что FullPart достигает state-of-the-art результатов в покомпонентной 3D-генерации. Мы опубликуем весь код, данные и модель для содействия будущим исследованиям в области генерации 3D-компонентов.

English

Part-based 3D generation holds great potential for various applications. Previous part generators that represent parts using implicit vector-set tokens often suffer from insufficient geometric details. Another line of work adopts an explicit voxel representation but shares a global voxel grid among all parts; this often causes small parts to occupy too few voxels, leading to degraded quality. In this paper, we propose FullPart, a novel framework that combines both implicit and explicit paradigms. It first derives the bounding box layout through an implicit box vector-set diffusion process, a task that implicit diffusion handles effectively since box tokens contain little geometric detail. Then, it generates detailed parts, each within its own fixed full-resolution voxel grid. Instead of sharing a global low-resolution space, each part in our method - even small ones - is generated at full resolution, enabling the synthesis of intricate details. We further introduce a center-point encoding strategy to address the misalignment issue when exchanging information between parts of different actual sizes, thereby maintaining global coherence. Moreover, to tackle the scarcity of reliable part data, we present PartVerse-XL, the largest human-annotated 3D part dataset to date with 40K objects and 320K parts. Extensive experiments demonstrate that FullPart achieves state-of-the-art results in 3D part generation. We will release all code, data, and model to benefit future research in 3D part generation.

FullPart: Генерация каждой 3D-детали в полном разрешении

FullPart: Generating each 3D Part at Full Resolution

Аннотация

Support