PrimitiveAnything: 자동회귀 트랜스포머를 활용한 인간 제작 3D 기본 요소 조립 생성

PrimitiveAnything: Human-Crafted 3D Primitive Assembly Generation with Auto-Regressive Transformer

May 7, 2025

저자: Jingwen Ye, Yuze He, Yanning Zhou, Yiqin Zhu, Kaiwen Xiao, Yong-Jin Liu, Wei Yang, Xiao Han

cs.AI

초록

복잡한 3D 형태를 단순한 기하학적 요소로 분해하는 형태 원시 추상화는 인간의 시각적 인지에 중요한 역할을 하며, 컴퓨터 비전 및 그래픽스 분야에서 광범위하게 응용되고 있다. 최근 3D 콘텐츠 생성 기술의 발전이 눈부신 진전을 보이고 있지만, 기존의 원시 추상화 방법들은 제한된 의미론적 이해를 바탕으로 한 기하학적 최적화에 의존하거나, 소규모의 특정 카테고리 데이터셋에서 학습하여 다양한 형태 카테고리 간 일반화에 어려움을 겪고 있다. 본 연구에서는 형태 원시 추상화를 원시 조립 생성 작업으로 재구성한 새로운 프레임워크인 PrimitiveAnything을 제안한다. PrimitiveAnything은 자동회귀 생성을 위한 형태 조건부 원시 트랜스포머와 여러 유형의 원시를 통일된 방식으로 표현하는 모호성 없는 파라미터화 기법을 포함한다. 제안된 프레임워크는 대규모 인간 제작 추상화로부터 원시 조립 과정을 직접 학습함으로써, 인간이 복잡한 형태를 원시 요소로 분해하는 방식을 포착할 수 있다. 광범위한 실험을 통해 PrimitiveAnything이 인간의 인지와 더 잘 부합하는 고품질의 원시 조립을 생성하면서도 다양한 형태 카테고리 간 기하학적 정확성을 유지할 수 있음을 입증하였다. 이는 다양한 3D 응용 분야에 이점을 제공하며, 게임에서 원시 기반 사용자 생성 콘텐츠(UGC)를 가능하게 할 잠재력을 보여준다. 프로젝트 페이지: https://primitiveanything.github.io

English

Shape primitive abstraction, which decomposes complex 3D shapes into simple geometric elements, plays a crucial role in human visual cognition and has broad applications in computer vision and graphics. While recent advances in 3D content generation have shown remarkable progress, existing primitive abstraction methods either rely on geometric optimization with limited semantic understanding or learn from small-scale, category-specific datasets, struggling to generalize across diverse shape categories. We present PrimitiveAnything, a novel framework that reformulates shape primitive abstraction as a primitive assembly generation task. PrimitiveAnything includes a shape-conditioned primitive transformer for auto-regressive generation and an ambiguity-free parameterization scheme to represent multiple types of primitives in a unified manner. The proposed framework directly learns the process of primitive assembly from large-scale human-crafted abstractions, enabling it to capture how humans decompose complex shapes into primitive elements. Through extensive experiments, we demonstrate that PrimitiveAnything can generate high-quality primitive assemblies that better align with human perception while maintaining geometric fidelity across diverse shape categories. It benefits various 3D applications and shows potential for enabling primitive-based user-generated content (UGC) in games. Project page: https://primitiveanything.github.io