PrimitiveAnything: Geração de Montagem de Primitivas 3D Criadas por Humanos com Transformador Auto-Regressivo

PrimitiveAnything: Human-Crafted 3D Primitive Assembly Generation with Auto-Regressive Transformer

May 7, 2025

Autores: Jingwen Ye, Yuze He, Yanning Zhou, Yiqin Zhu, Kaiwen Xiao, Yong-Jin Liu, Wei Yang, Xiao Han

cs.AI

Resumo

A abstração de primitivas de forma, que decompõe formas 3D complexas em elementos geométricos simples, desempenha um papel crucial na cognição visual humana e tem amplas aplicações em visão computacional e gráficos. Embora os avanços recentes na geração de conteúdo 3D tenham mostrado progresso notável, os métodos existentes de abstração de primitivas ou dependem de otimização geométrica com compreensão semântica limitada ou aprendem a partir de conjuntos de dados pequenos e específicos de categorias, lutando para generalizar em diversas categorias de formas. Apresentamos o PrimitiveAnything, uma nova estrutura que reformula a abstração de primitivas de forma como uma tarefa de geração de montagem de primitivas. O PrimitiveAnything inclui um transformador de primitivas condicionado por forma para geração autorregressiva e um esquema de parametrização livre de ambiguidades para representar múltiplos tipos de primitivas de maneira unificada. A estrutura proposta aprende diretamente o processo de montagem de primitivas a partir de abstrações em grande escala criadas por humanos, permitindo capturar como os humanos decompõem formas complexas em elementos primitivos. Através de extensos experimentos, demonstramos que o PrimitiveAnything pode gerar montagens de primitivas de alta qualidade que se alinham melhor com a percepção humana, mantendo a fidelidade geométrica em diversas categorias de formas. Ele beneficia várias aplicações 3D e mostra potencial para habilitar conteúdo gerado por usuários (UGC) baseado em primitivas em jogos. Página do projeto: https://primitiveanything.github.io

English

Shape primitive abstraction, which decomposes complex 3D shapes into simple geometric elements, plays a crucial role in human visual cognition and has broad applications in computer vision and graphics. While recent advances in 3D content generation have shown remarkable progress, existing primitive abstraction methods either rely on geometric optimization with limited semantic understanding or learn from small-scale, category-specific datasets, struggling to generalize across diverse shape categories. We present PrimitiveAnything, a novel framework that reformulates shape primitive abstraction as a primitive assembly generation task. PrimitiveAnything includes a shape-conditioned primitive transformer for auto-regressive generation and an ambiguity-free parameterization scheme to represent multiple types of primitives in a unified manner. The proposed framework directly learns the process of primitive assembly from large-scale human-crafted abstractions, enabling it to capture how humans decompose complex shapes into primitive elements. Through extensive experiments, we demonstrate that PrimitiveAnything can generate high-quality primitive assemblies that better align with human perception while maintaining geometric fidelity across diverse shape categories. It benefits various 3D applications and shows potential for enabling primitive-based user-generated content (UGC) in games. Project page: https://primitiveanything.github.io