Muses: 훈련 없이 존재하지 않는 환상의 3D 생물을 디자인, 구성, 생성하기

Muses: Designing, Composing, Generating Nonexistent Fantasy 3D Creatures without Training

January 6, 2026

저자: Hexiao Lu, Xiaokun Sun, Zeyu Cai, Hao Guo, Ying Tai, Jian Yang, Zhenyu Zhang

cs.AI

초록

본 논문에서는 피드-포워드 패러다임으로 환상적인 3D 생명체를 생성하는 최초의 학습 불필요 방법인 Muses를 제안한다. 부분 인식 최적화, 수동 조립 또는 2D 이미지 생성에 의존하는 기존 방법들은 복잡한 부분 수준 조작의 어려움과 제한된 도메인 외 생성으로 인해 비현실적이거나 비일관적인 3D 자산을 생성하는 경우가 많다. 이에 반해, Muses는 생물학적 형태의 기본 표현인 3D 스켈레톤을 활용하여 다양한 요소를 명시적이고 합리적으로 구성한다. 이러한 골격 기반은 3D 콘텐츠 제작을 구조 인식형 설계, 구성, 생성 파이프라인으로 정형화한다. Muses는 먼저 그래프 제약 추론을 통해 일관된 레이아웃과 스케일을 갖춘 창의적으로 구성된 3D 스켈레톤을 구축한다. 이 스켈레톤은 구조화된 잠재 공간 내에서 복셀 기반 조립 과정을 안내하며 서로 다른 객체의 영역을 통합한다. 최종적으로는 스켈레톤 조건 하에서 이미지 기반 외관 모델링을 적용하여 조립된 형태에 스타일이 일관되고 조화로운 텍스처를 생성한다. 광범위한 실험을 통해 Muses가 시각적 정확도와 텍스트 설명 정합성 측면에서 최첨단 성능을 달성하며, 유연한 3D 객체 편집에서의 잠재력을 입증하였다. 프로젝트 페이지: https://luhexiao.github.io/Muses.github.io/.

English

We present Muses, the first training-free method for fantastic 3D creature generation in a feed-forward paradigm. Previous methods, which rely on part-aware optimization, manual assembly, or 2D image generation, often produce unrealistic or incoherent 3D assets due to the challenges of intricate part-level manipulation and limited out-of-domain generation. In contrast, Muses leverages the 3D skeleton, a fundamental representation of biological forms, to explicitly and rationally compose diverse elements. This skeletal foundation formalizes 3D content creation as a structure-aware pipeline of design, composition, and generation. Muses begins by constructing a creatively composed 3D skeleton with coherent layout and scale through graph-constrained reasoning. This skeleton then guides a voxel-based assembly process within a structured latent space, integrating regions from different objects. Finally, image-guided appearance modeling under skeletal conditions is applied to generate a style-consistent and harmonious texture for the assembled shape. Extensive experiments establish Muses' state-of-the-art performance in terms of visual fidelity and alignment with textual descriptions, and potential on flexible 3D object editing. Project page: https://luhexiao.github.io/Muses.github.io/.