PrimitiveAnything : Génération d'assemblages de primitives 3D créés par l'homme avec un transformeur auto-régressif

PrimitiveAnything: Human-Crafted 3D Primitive Assembly Generation with Auto-Regressive Transformer

May 7, 2025

Auteurs: Jingwen Ye, Yuze He, Yanning Zhou, Yiqin Zhu, Kaiwen Xiao, Yong-Jin Liu, Wei Yang, Xiao Han

cs.AI

Résumé

L'abstraction par primitives de forme, qui décompose des formes 3D complexes en éléments géométriques simples, joue un rôle crucial dans la cognition visuelle humaine et trouve de nombreuses applications en vision par ordinateur et en infographie. Bien que les récents progrès dans la génération de contenu 3D aient montré des avancées remarquables, les méthodes existantes d'abstraction par primitives reposent soit sur une optimisation géométrique avec une compréhension sémantique limitée, soit sur l'apprentissage à partir de jeux de données spécifiques à une catégorie et de petite taille, ce qui limite leur capacité à généraliser à travers des catégories de formes diverses. Nous présentons PrimitiveAnything, un nouveau cadre qui reformule l'abstraction par primitives de forme comme une tâche de génération d'assemblages de primitives. PrimitiveAnything inclut un transformeur de primitives conditionné par la forme pour la génération auto-régressive et un schéma de paramétrisation sans ambiguïté pour représenter plusieurs types de primitives de manière unifiée. Le cadre proposé apprend directement le processus d'assemblage de primitives à partir de grandes abstractions créées par l'homme, lui permettant de capturer la manière dont les humains décomposent des formes complexes en éléments primitifs. À travers des expériences approfondies, nous démontrons que PrimitiveAnything peut générer des assemblages de primitives de haute qualité qui s'alignent mieux sur la perception humaine tout en maintenant une fidélité géométrique à travers diverses catégories de formes. Il bénéficie à diverses applications 3D et montre un potentiel pour permettre la création de contenu généré par l'utilisateur (UGC) basé sur des primitives dans les jeux. Page du projet : https://primitiveanything.github.io

English

Shape primitive abstraction, which decomposes complex 3D shapes into simple geometric elements, plays a crucial role in human visual cognition and has broad applications in computer vision and graphics. While recent advances in 3D content generation have shown remarkable progress, existing primitive abstraction methods either rely on geometric optimization with limited semantic understanding or learn from small-scale, category-specific datasets, struggling to generalize across diverse shape categories. We present PrimitiveAnything, a novel framework that reformulates shape primitive abstraction as a primitive assembly generation task. PrimitiveAnything includes a shape-conditioned primitive transformer for auto-regressive generation and an ambiguity-free parameterization scheme to represent multiple types of primitives in a unified manner. The proposed framework directly learns the process of primitive assembly from large-scale human-crafted abstractions, enabling it to capture how humans decompose complex shapes into primitive elements. Through extensive experiments, we demonstrate that PrimitiveAnything can generate high-quality primitive assemblies that better align with human perception while maintaining geometric fidelity across diverse shape categories. It benefits various 3D applications and shows potential for enabling primitive-based user-generated content (UGC) in games. Project page: https://primitiveanything.github.io