Muses：トレーニングなしで存在しないファンタジー3Dクリーチャーをデザイン・作曲・生成する

Muses: Designing, Composing, Generating Nonexistent Fantasy 3D Creatures without Training

January 6, 2026

著者: Hexiao Lu, Xiaokun Sun, Zeyu Cai, Hao Guo, Ying Tai, Jian Yang, Zhenyu Zhang

cs.AI

要旨

本論文では、フィードフォワードパラダイムによる革新的な3Dクリーチャー生成において、学習を必要としない初の手法「Muses」を提案する。従来手法は、部分認識最適化、手動組み立て、または2D画像生成に依存するため、複雑な部分レベルの操作や領域外生成の限界から、非現実的あるいは不整合な3Dアセットを生成しがちであった。これに対しMusesは、生物形態の基本表現である3Dスケルトンを活用し、多様な要素を明示的かつ合理的に構成する。この骨格基盤により、3Dコンテンツ制作は構造認識型の設計・合成・生成パイプラインとして形式化される。Musesはまず、グラフ制約推論を通じて、整合性のあるレイアウトとスケールを備えた創造的に構成された3Dスケルトンを構築する。このスケルトンが構造化潜在空間内でのボクセルベース組み立てプロセスを誘導し、異なるオブジェクトからの領域を統合する。最後に、骨格条件付きの画像誘導外観モデリングを適用し、組み立て形状に対応した様式一貫性と調和のとれたテクスチャを生成する。大規模実験により、Musesが視覚的忠実度とテキスト記述との整合性において最先端の性能を達成し、柔軟な3Dオブジェクト編集への可能性を確立した。プロジェクトページ: https://luhexiao.github.io/Muses.github.io/

English

We present Muses, the first training-free method for fantastic 3D creature generation in a feed-forward paradigm. Previous methods, which rely on part-aware optimization, manual assembly, or 2D image generation, often produce unrealistic or incoherent 3D assets due to the challenges of intricate part-level manipulation and limited out-of-domain generation. In contrast, Muses leverages the 3D skeleton, a fundamental representation of biological forms, to explicitly and rationally compose diverse elements. This skeletal foundation formalizes 3D content creation as a structure-aware pipeline of design, composition, and generation. Muses begins by constructing a creatively composed 3D skeleton with coherent layout and scale through graph-constrained reasoning. This skeleton then guides a voxel-based assembly process within a structured latent space, integrating regions from different objects. Finally, image-guided appearance modeling under skeletal conditions is applied to generate a style-consistent and harmonious texture for the assembled shape. Extensive experiments establish Muses' state-of-the-art performance in terms of visual fidelity and alignment with textual descriptions, and potential on flexible 3D object editing. Project page: https://luhexiao.github.io/Muses.github.io/.