FullPart: 전체 해상도로 각 3D 부품 생성하기

초록

부품 기반 3D 생성은 다양한 응용 분야에서 큰 잠재력을 지닙니다. 암묵적 벡터-집합 토큰을 사용하여 부품을 표현하는 기존 부품 생성기들은 종종 불충분한 기하학적 디테일 문제를 겪습니다. 다른 연구 흐름은 명시적 복셀 표현을 채택하지만 모든 부품이 전역 복셀 그리드를 공유합니다. 이는 작은 부품들이 너무 적은 수의 복셀을 점유하게 만들어 품질 저하를 초래하곤 합니다. 본 논문에서는 암묵적 및 명시적 패러다임을 결합한 새로운 프레임워크인 FullPart를 제안합니다. 우리 방법은 먼저 암묵적 박스 벡터-집합 확산 과정을 통해 바운딩 박스 레이아웃을 도출하는데, 박스 토큰은 기하학적 디테일이 거의 포함되지 않아 암묵적 확산이 효과적으로 처리하는 과업입니다. 그 다음, 각 부품을 고정된 전체 해상도의 자체 복셀 그리드 내에서 상세하게 생성합니다. 전역 저해상도 공간을 공유하는 대신, 우리 방법의 각 부품(작은 부품도 포함)은 전체 해상도로 생성되어 정교한 디테일의 합성이 가능해집니다. 또한 실제 크기가 다른 부품들 간 정보 교환 시 발생하는 정렬 불일치 문제를 해결하기 위해 중심점 인코딩 전략을 도입하여 전역적 일관성을 유지합니다. 더 나아가 신뢰할 수 있는 부품 데이터의 부족 문제를 해결하기 위해 4만 개 객체와 32만 개 부품으로 구성된 현재까지 가장 큰 인간 주석 3D 부품 데이터셋인 PartVerse-XL을 제시합니다. 폭넓은 실험을 통해 FullPart가 3D 부품 생성 분야에서 최첨단 성능을 달성함을 입증합니다. 3D 부품 생성의 미래 연구 발전을 위해 모든 코드, 데이터 및 모델을 공개할 예정입니다.

English

Part-based 3D generation holds great potential for various applications. Previous part generators that represent parts using implicit vector-set tokens often suffer from insufficient geometric details. Another line of work adopts an explicit voxel representation but shares a global voxel grid among all parts; this often causes small parts to occupy too few voxels, leading to degraded quality. In this paper, we propose FullPart, a novel framework that combines both implicit and explicit paradigms. It first derives the bounding box layout through an implicit box vector-set diffusion process, a task that implicit diffusion handles effectively since box tokens contain little geometric detail. Then, it generates detailed parts, each within its own fixed full-resolution voxel grid. Instead of sharing a global low-resolution space, each part in our method - even small ones - is generated at full resolution, enabling the synthesis of intricate details. We further introduce a center-point encoding strategy to address the misalignment issue when exchanging information between parts of different actual sizes, thereby maintaining global coherence. Moreover, to tackle the scarcity of reliable part data, we present PartVerse-XL, the largest human-annotated 3D part dataset to date with 40K objects and 320K parts. Extensive experiments demonstrate that FullPart achieves state-of-the-art results in 3D part generation. We will release all code, data, and model to benefit future research in 3D part generation.

FullPart: 전체 해상도로 각 3D 부품 생성하기

FullPart: Generating each 3D Part at Full Resolution

초록

Support