PrimitiveAnything: Menschlich erstellte 3D-Primitiv-Zusammensetzungserzeugung mit Auto-Regressivem Transformer

PrimitiveAnything: Human-Crafted 3D Primitive Assembly Generation with Auto-Regressive Transformer

May 7, 2025

Autoren: Jingwen Ye, Yuze He, Yanning Zhou, Yiqin Zhu, Kaiwen Xiao, Yong-Jin Liu, Wei Yang, Xiao Han

cs.AI

Zusammenfassung

Die Abstraktion von Formprimitiven, die komplexe 3D-Formen in einfache geometrische Elemente zerlegt, spielt eine entscheidende Rolle in der menschlichen visuellen Wahrnehmung und findet breite Anwendung in der Computer Vision und Grafik. Obwohl die jüngsten Fortschritte in der 3D-Inhaltsgenerierung bemerkenswerte Fortschritte gezeigt haben, stützen sich bestehende Methoden zur Primitivabstraktion entweder auf geometrische Optimierung mit begrenztem semantischem Verständnis oder lernen aus kleinen, kategoriespezifischen Datensätzen, was die Generalisierung über verschiedene Formkategorien hinweg erschwert. Wir stellen PrimitiveAnything vor, ein neuartiges Framework, das die Abstraktion von Formprimitiven als Aufgabe der Primitivassemblierung neu formuliert. PrimitiveAnything umfasst einen formbedingten Primitiv-Transformer für die autoregressive Generierung und ein eindeutiges Parametrisierungsschema, um verschiedene Arten von Primitiven einheitlich darzustellen. Das vorgeschlagene Framework lernt den Prozess der Primitivassemblierung direkt aus groß angelegten, von Menschen erstellten Abstraktionen, wodurch es erfassen kann, wie Menschen komplexe Formen in primitive Elemente zerlegen. Durch umfangreiche Experimente zeigen wir, dass PrimitiveAnything hochwertige Primitivassemblierungen generieren kann, die besser mit der menschlichen Wahrnehmung übereinstimmen und gleichzeitig die geometrische Treue über verschiedene Formkategorien hinweg bewahren. Es profitiert verschiedene 3D-Anwendungen und zeigt Potenzial für die Ermöglichung von primitivbasierter, benutzergenerierter Inhalte (UGC) in Spielen. Projektseite: https://primitiveanything.github.io

English

Shape primitive abstraction, which decomposes complex 3D shapes into simple geometric elements, plays a crucial role in human visual cognition and has broad applications in computer vision and graphics. While recent advances in 3D content generation have shown remarkable progress, existing primitive abstraction methods either rely on geometric optimization with limited semantic understanding or learn from small-scale, category-specific datasets, struggling to generalize across diverse shape categories. We present PrimitiveAnything, a novel framework that reformulates shape primitive abstraction as a primitive assembly generation task. PrimitiveAnything includes a shape-conditioned primitive transformer for auto-regressive generation and an ambiguity-free parameterization scheme to represent multiple types of primitives in a unified manner. The proposed framework directly learns the process of primitive assembly from large-scale human-crafted abstractions, enabling it to capture how humans decompose complex shapes into primitive elements. Through extensive experiments, we demonstrate that PrimitiveAnything can generate high-quality primitive assemblies that better align with human perception while maintaining geometric fidelity across diverse shape categories. It benefits various 3D applications and shows potential for enabling primitive-based user-generated content (UGC) in games. Project page: https://primitiveanything.github.io