PrimitiveAnything: Генерация сборок 3D-примитивов, созданных человеком, с использованием авторегрессивного трансформера

PrimitiveAnything: Human-Crafted 3D Primitive Assembly Generation with Auto-Regressive Transformer

May 7, 2025

Авторы: Jingwen Ye, Yuze He, Yanning Zhou, Yiqin Zhu, Kaiwen Xiao, Yong-Jin Liu, Wei Yang, Xiao Han

cs.AI

Аннотация

Абстракция примитивов формы, которая разлагает сложные 3D-формы на простые геометрические элементы, играет ключевую роль в визуальном восприятии человека и имеет широкое применение в компьютерном зрении и графике. Хотя последние достижения в генерации 3D-контента демонстрируют значительный прогресс, существующие методы абстракции примитивов либо полагаются на геометрическую оптимизацию с ограниченным семантическим пониманием, либо обучаются на небольших наборах данных, специфичных для определённых категорий, что затрудняет их обобщение на разнообразные категории форм. Мы представляем PrimitiveAnything — новый фреймворк, который переосмысливает абстракцию примитивов формы как задачу генерации сборки примитивов. PrimitiveAnything включает трансформер примитивов, обусловленный формой, для авторегрессивной генерации, а также схему параметризации, свободную от неоднозначностей, для унифицированного представления различных типов примитивов. Предложенный фреймворк напрямую изучает процесс сборки примитивов на основе крупномасштабных абстракций, созданных человеком, что позволяет ему улавливать, как люди разлагают сложные формы на примитивные элементы. В ходе обширных экспериментов мы демонстрируем, что PrimitiveAnything способен генерировать высококачественные сборки примитивов, которые лучше соответствуют человеческому восприятию, сохраняя при этом геометрическую точность для разнообразных категорий форм. Это приносит пользу различным 3D-приложениям и открывает потенциал для создания пользовательского контента (UGC) на основе примитивов в играх. Страница проекта: https://primitiveanything.github.io

English

Shape primitive abstraction, which decomposes complex 3D shapes into simple geometric elements, plays a crucial role in human visual cognition and has broad applications in computer vision and graphics. While recent advances in 3D content generation have shown remarkable progress, existing primitive abstraction methods either rely on geometric optimization with limited semantic understanding or learn from small-scale, category-specific datasets, struggling to generalize across diverse shape categories. We present PrimitiveAnything, a novel framework that reformulates shape primitive abstraction as a primitive assembly generation task. PrimitiveAnything includes a shape-conditioned primitive transformer for auto-regressive generation and an ambiguity-free parameterization scheme to represent multiple types of primitives in a unified manner. The proposed framework directly learns the process of primitive assembly from large-scale human-crafted abstractions, enabling it to capture how humans decompose complex shapes into primitive elements. Through extensive experiments, we demonstrate that PrimitiveAnything can generate high-quality primitive assemblies that better align with human perception while maintaining geometric fidelity across diverse shape categories. It benefits various 3D applications and shows potential for enabling primitive-based user-generated content (UGC) in games. Project page: https://primitiveanything.github.io