Muse: Progettare, Comporre, Generare Creature Fantastiche 3D Inesistenti senza Addestramento

Muses: Designing, Composing, Generating Nonexistent Fantasy 3D Creatures without Training

January 6, 2026

Autori: Hexiao Lu, Xiaokun Sun, Zeyu Cai, Hao Guo, Ying Tai, Jian Yang, Zhenyu Zhang

cs.AI

Abstract

Presentiamo Muses, il primo metodo senza addestramento per la generazione di creature 3D fantastiche in un paradigma feed-forward. I metodi precedenti, che si basano su ottimizzazione part-aware, assemblaggio manuale o generazione di immagini 2D, spesso producono asset 3D irrealistici o incoerenti a causa delle sfide legate alla manipolazione intricata a livello di parti e alla limitata generazione out-of-domain. Al contrario, Muses sfrutta lo scheletro 3D, una rappresentazione fondamentale delle forme biologiche, per comporre esplicitamente e razionalmente elementi diversi. Questa base scheletrica formalizza la creazione di contenuti 3D come una pipeline structure-aware di progettazione, composizione e generazione. Muses inizia costruendo uno scheletro 3D creativamente composto con layout e scala coerenti attraverso un ragionamento vincolato da grafi. Questo scheletro guida poi un processo di assemblaggio basato su voxel all'interno di uno spazio latente strutturato, integrando regioni provenienti da oggetti diversi. Infine, viene applicata una modellazione dell'aspetto guidata da immagini sotto condizioni scheletriche per generare una texture stilisticamente coerente e armoniosa per la forma assemblata. Esperimenti estensivi stabiliscono le prestazioni all'avanguardia di Muses in termini di fedeltà visiva e allineamento con le descrizioni testuali, oltre al suo potenziale per la modifica flessibile di oggetti 3D. Pagina del progetto: https://luhexiao.github.io/Muses.github.io/.

English

We present Muses, the first training-free method for fantastic 3D creature generation in a feed-forward paradigm. Previous methods, which rely on part-aware optimization, manual assembly, or 2D image generation, often produce unrealistic or incoherent 3D assets due to the challenges of intricate part-level manipulation and limited out-of-domain generation. In contrast, Muses leverages the 3D skeleton, a fundamental representation of biological forms, to explicitly and rationally compose diverse elements. This skeletal foundation formalizes 3D content creation as a structure-aware pipeline of design, composition, and generation. Muses begins by constructing a creatively composed 3D skeleton with coherent layout and scale through graph-constrained reasoning. This skeleton then guides a voxel-based assembly process within a structured latent space, integrating regions from different objects. Finally, image-guided appearance modeling under skeletal conditions is applied to generate a style-consistent and harmonious texture for the assembled shape. Extensive experiments establish Muses' state-of-the-art performance in terms of visual fidelity and alignment with textual descriptions, and potential on flexible 3D object editing. Project page: https://luhexiao.github.io/Muses.github.io/.