MegaParts: 토큰 효율적 자기회귀 모델링을 통한 파트 인지 3D 객체 생성의 300개 파트로의 확장

초록

부분 인식 3D 객체 생성은 객체가 의미적 부분들의 일관된 조합으로 표현되는 제어 가능한 모델링, 편집, 관절화(articulation)와 같은 그래픽스 응용 분야에 필수적이다. 그러나 기존의 부분 인식 생성 방법들은 매우 복잡한 객체로의 확장에 한계가 있다. 부분의 수가 증가함에 따라, 상세한 형상 생성을 위한 토큰 길이와 메모리 비용이 감당하기 어려울 정도로 증가하기 때문이다. 본 연구에서는 구조화된 시퀀스 모델링과 토큰 효율적인 벡터 양자화 형상 토크나이저를 결합하여 이 문제를 해결하는 확장 가능한 자기회귀 3D 생성 프레임워크인 MegaParts를 제안한다. 제안하는 토크나이저는 고충실도 재구성을 조건으로 토큰 사용량을 최소화하여 부분 수준 기하학의 이산적 잠재 표현을 학습하며, 이를 통해 기하학적 복잡성에 기반한 적응형 길이 토큰화를 가능하게 한다. 이러한 압축적 표현을 기반으로, 대규모 언어 모델을 학습하여 통합된 구조화 시퀀스 내에서 객체 바운딩 박스, 부분 바운딩 박스, 부분 형상 토큰을 생성한다. 효율적인 장문맥 학습 전략과 결합하여, 제안하는 토큰 효율적 방식은 최대 300개의 부분과 최대 256k 토큰의 시퀀스 길이를 가진 객체로 확장된다. 이는 구성적 구조를 유지하고 세분화된 부분 수준 제어를 가능하게 하면서 부분 인식 3D 생성의 규모를 실질적으로 확장한다. 제안 방법은 기준선(baseline) 자기회귀 모델 및 확산 모델보다 더 높은 메시 품질을 달성하며, 이는 압축된 이산적 부분 토큰이 확장성뿐만 아니라 생성 형상의 달성 가능한 충실도 역시 향상시킴을 보여준다. 이러한 결과는 대규모 부분 인식 3D 생성에 있어 LLM 기반 토큰 효율적 자기회귀 모델링이 확산 모델의 강력한 대안이 될 수 있음을 시사한다. 프로젝트 페이지는 https://expmaster.github.io/megaparts_webpage에서 확인할 수 있다.

English

Part-aware 3D object generation is essential for graphics applications such as controllable modeling, editing, and articulation, where objects are represented as coherent assemblies of semantic parts. However, existing part-aware generation methods, do not scale well to highly complex objects. As the number of parts increases, generating detailed geometry becomes prohibitively expensive in token length and memory. We introduce MegaParts, a scalable autoregressive 3D generation framework to address this challenge by combining structured sequence modeling with a token-efficient vector-quantized shape tokenizer. Our tokenizer learns discrete latent representations for part-level geometry by minimizing token usage subject to high-fidelity reconstruction, enabling adaptive-length tokenization based on geometric complexity. On top of this compact representation, we train a large language model to generate object bounding boxes, part bounding boxes, and part shape tokens within a unified structured sequence. Combined with efficient long-context training strategy, our token-efficient formulation scales to objects with up to 300 parts and sequence lengths up to 256k tokens. This substantially extends the scale of part-aware 3D generation while preserving compositional structure and enabling fine-grained part-level control. Our method achieves higher mesh quality than baseline autoregressive and diffusion models, showing that compressed discrete part tokens improve not only scalability but also the achievable fidelity of generated geometry. These results suggest that LLM native token-efficient autoregressive modeling is a compelling alternative to diffusion for large-scale part-aware 3D generation. The project page is available at https://expmaster.github.io/megaparts_webpage.