PrimitiveAnything: Mensgemaakte 3D-primitiefassemblagegeneratie met Auto-Regressieve Transformer

PrimitiveAnything: Human-Crafted 3D Primitive Assembly Generation with Auto-Regressive Transformer

May 7, 2025

Auteurs: Jingwen Ye, Yuze He, Yanning Zhou, Yiqin Zhu, Kaiwen Xiao, Yong-Jin Liu, Wei Yang, Xiao Han

cs.AI

Samenvatting

Shape primitive abstraction, waarbij complexe 3D-vormen worden ontleed in eenvoudige geometrische elementen, speelt een cruciale rol in de menselijke visuele cognitie en heeft brede toepassingen in computervisie en grafische weergave. Hoewel recente vooruitgang in 3D-contentgeneratie opmerkelijke voortgang heeft geboekt, vertrouwen bestaande methoden voor primitieve abstractie ofwel op geometrische optimalisatie met beperkt semantisch begrip, of leren ze van kleinschalige, categorie-specifieke datasets, wat het generaliseren over diverse vormcategorieën bemoeilijkt. Wij presenteren PrimitiveAnything, een nieuw framework dat shape primitive abstraction herformuleert als een taak voor het genereren van primitieve assemblages. PrimitiveAnything omvat een vorm-geconditioneerde primitieve transformer voor auto-regressieve generatie en een ambiguïteitsvrij parameterisatieschema om meerdere typen primitieven op een uniforme manier weer te geven. Het voorgestelde framework leert direct het proces van primitieve assemblage van grootschalige, door mensen gemaakte abstracties, waardoor het kan vastleggen hoe mensen complexe vormen ontleden in primitieve elementen. Door uitgebreide experimenten tonen we aan dat PrimitiveAnything hoogwaardige primitieve assemblages kan genereren die beter aansluiten bij de menselijke perceptie, terwijl de geometrische nauwkeurigheid over diverse vormcategorieën behouden blijft. Het biedt voordelen voor diverse 3D-toepassingen en toont potentieel voor het mogelijk maken van primitief-gebaseerde, door gebruikers gegenereerde content (UGC) in games. Projectpagina: https://primitiveanything.github.io

English

Shape primitive abstraction, which decomposes complex 3D shapes into simple geometric elements, plays a crucial role in human visual cognition and has broad applications in computer vision and graphics. While recent advances in 3D content generation have shown remarkable progress, existing primitive abstraction methods either rely on geometric optimization with limited semantic understanding or learn from small-scale, category-specific datasets, struggling to generalize across diverse shape categories. We present PrimitiveAnything, a novel framework that reformulates shape primitive abstraction as a primitive assembly generation task. PrimitiveAnything includes a shape-conditioned primitive transformer for auto-regressive generation and an ambiguity-free parameterization scheme to represent multiple types of primitives in a unified manner. The proposed framework directly learns the process of primitive assembly from large-scale human-crafted abstractions, enabling it to capture how humans decompose complex shapes into primitive elements. Through extensive experiments, we demonstrate that PrimitiveAnything can generate high-quality primitive assemblies that better align with human perception while maintaining geometric fidelity across diverse shape categories. It benefits various 3D applications and shows potential for enabling primitive-based user-generated content (UGC) in games. Project page: https://primitiveanything.github.io