PrimitiveAnything: オートリグレッシブTransformerを用いた人間が作成した3Dプリミティブアセンブリ生成

PrimitiveAnything: Human-Crafted 3D Primitive Assembly Generation with Auto-Regressive Transformer

May 7, 2025

著者: Jingwen Ye, Yuze He, Yanning Zhou, Yiqin Zhu, Kaiwen Xiao, Yong-Jin Liu, Wei Yang, Xiao Han

cs.AI

要旨

複雑な3D形状を単純な幾何学的要素に分解する形状プリミティブ抽象化は、人間の視覚認知において重要な役割を果たし、コンピュータビジョンやグラフィックスにおいて幅広い応用があります。近年の3Dコンテンツ生成の進歩は目覚ましいものの、既存のプリミティブ抽象化手法は、限られた意味理解に基づく幾何学的最適化に依存するか、小規模でカテゴリ固有のデータセットから学習するため、多様な形状カテゴリにわたる汎化に苦労しています。本論文では、形状プリミティブ抽象化をプリミティブアセンブリ生成タスクとして再定式化する新しいフレームワーク、PrimitiveAnythingを提案します。PrimitiveAnythingは、形状条件付きプリミティブトランスフォーマーによる自己回帰的生成と、複数種類のプリミティブを統一的な方法で表現する曖昧さのないパラメータ化スキームを含みます。提案フレームワークは、大規模な人手による抽象化から直接プリミティブアセンブリのプロセスを学習し、人間が複雑な形状をプリミティブ要素に分解する方法を捉えることを可能にします。広範な実験を通じて、PrimitiveAnythingが、人間の知覚により良く一致しつつ、多様な形状カテゴリにわたる幾何学的忠実性を維持する高品質なプリミティブアセンブリを生成できることを示します。これは様々な3Dアプリケーションに有益であり、ゲームにおけるプリミティブベースのユーザー生成コンテンツ（UGC）を可能にする可能性を示しています。プロジェクトページ: https://primitiveanything.github.io

English

Shape primitive abstraction, which decomposes complex 3D shapes into simple geometric elements, plays a crucial role in human visual cognition and has broad applications in computer vision and graphics. While recent advances in 3D content generation have shown remarkable progress, existing primitive abstraction methods either rely on geometric optimization with limited semantic understanding or learn from small-scale, category-specific datasets, struggling to generalize across diverse shape categories. We present PrimitiveAnything, a novel framework that reformulates shape primitive abstraction as a primitive assembly generation task. PrimitiveAnything includes a shape-conditioned primitive transformer for auto-regressive generation and an ambiguity-free parameterization scheme to represent multiple types of primitives in a unified manner. The proposed framework directly learns the process of primitive assembly from large-scale human-crafted abstractions, enabling it to capture how humans decompose complex shapes into primitive elements. Through extensive experiments, we demonstrate that PrimitiveAnything can generate high-quality primitive assemblies that better align with human perception while maintaining geometric fidelity across diverse shape categories. It benefits various 3D applications and shows potential for enabling primitive-based user-generated content (UGC) in games. Project page: https://primitiveanything.github.io