PrimitiveAnything: Generación de Ensamblajes de Primitivas 3D Creadas por Humanos con Transformadores Auto-Regresivos

PrimitiveAnything: Human-Crafted 3D Primitive Assembly Generation with Auto-Regressive Transformer

May 7, 2025

Autores: Jingwen Ye, Yuze He, Yanning Zhou, Yiqin Zhu, Kaiwen Xiao, Yong-Jin Liu, Wei Yang, Xiao Han

cs.AI

Resumen

La abstracción de primitivas de formas, que descompone formas 3D complejas en elementos geométricos simples, desempeña un papel crucial en la cognición visual humana y tiene amplias aplicaciones en visión por computadora y gráficos. Si bien los avances recientes en la generación de contenido 3D han mostrado un progreso notable, los métodos existentes de abstracción de primitivas dependen de optimización geométrica con un entendimiento semántico limitado o aprenden de conjuntos de datos específicos de categorías y a pequeña escala, lo que dificulta su generalización en diversas categorías de formas. Presentamos PrimitiveAnything, un marco novedoso que reformula la abstracción de primitivas de formas como una tarea de generación de ensamblajes de primitivas. PrimitiveAnything incluye un transformador de primitivas condicionado por la forma para la generación autoregresiva y un esquema de parametrización libre de ambigüedades para representar múltiples tipos de primitivas de manera unificada. El marco propuesto aprende directamente el proceso de ensamblaje de primitivas a partir de abstracciones a gran escala creadas por humanos, lo que le permite capturar cómo los humanos descomponen formas complejas en elementos primitivos. A través de experimentos extensos, demostramos que PrimitiveAnything puede generar ensamblajes de primitivas de alta calidad que se alinean mejor con la percepción humana mientras mantienen la fidelidad geométrica en diversas categorías de formas. Beneficia a varias aplicaciones 3D y muestra potencial para habilitar contenido generado por usuarios (UGC) basado en primitivas en juegos. Página del proyecto: https://primitiveanything.github.io

English

Shape primitive abstraction, which decomposes complex 3D shapes into simple geometric elements, plays a crucial role in human visual cognition and has broad applications in computer vision and graphics. While recent advances in 3D content generation have shown remarkable progress, existing primitive abstraction methods either rely on geometric optimization with limited semantic understanding or learn from small-scale, category-specific datasets, struggling to generalize across diverse shape categories. We present PrimitiveAnything, a novel framework that reformulates shape primitive abstraction as a primitive assembly generation task. PrimitiveAnything includes a shape-conditioned primitive transformer for auto-regressive generation and an ambiguity-free parameterization scheme to represent multiple types of primitives in a unified manner. The proposed framework directly learns the process of primitive assembly from large-scale human-crafted abstractions, enabling it to capture how humans decompose complex shapes into primitive elements. Through extensive experiments, we demonstrate that PrimitiveAnything can generate high-quality primitive assemblies that better align with human perception while maintaining geometric fidelity across diverse shape categories. It benefits various 3D applications and shows potential for enabling primitive-based user-generated content (UGC) in games. Project page: https://primitiveanything.github.io