SK-Adapter：ネイティブ3D生成のための骨格ベース構造制御

SK-Adapter: Skeleton-Based Structural Control for Native 3D Generation

March 14, 2026

著者: Anbang Wang, Yuzhuo Ao, Shangzhe Wu, Chi-Keung Tang

cs.AI

要旨

ネイティブ3D生成モデルは、高い忠実度と速度を実現しているが、決定的な限界に直面している。すなわち、精密な構造的関節付けを規定できないことであり、ネイティブ3D空間内での精密な構造制御は未開拓のままである。本論文は、ネイティブ3D生成において精密な骨格操作を可能にする、簡潔でありながらも高効率・高効果なフレームワークであるSK-Adapterを提案する。精密な構造制御には曖昧になりうるテキストや画像プロンプトを超えて、我々は3Dスケルトンを第一級の制御信号として扱う。SK-Adapterは、関節座標とトポロジーを学習可能なトークンに符号化する軽量な構造アダプターネットワークであり、これらがクロスアテンションを介して凍結された3D生成バックボーンに注入される。この巧妙な設計により、モデルは特定の3D構造制約に効果的に「注意」を向けるだけでなく、その元々の生成的事前知識を保持することができる。データギャップを埋めるため、24kのテキスト-メッシュ-スケルトンペアからなる大規模データセット、Objaverse-TMSデータセットを構築した。大規模な実験により、本手法が基礎モデルの形状とテクスチャ品質を保ちながら堅牢な構造制御を実現し、既存のベースラインを大幅に上回ることを確認した。さらに、この能力を局所的な3D編集に拡張し、骨格ガイダンスを用いた既存アセットの領域特定編集を可能にする。これは従来手法では達成できなかったものである。プロジェクトページ: https://sk-adapter.github.io/

English

Native 3D generative models have achieved remarkable fidelity and speed, yet they suffer from a critical limitation: inability to prescribe precise structural articulations, where precise structural control within the native 3D space remains underexplored. This paper proposes SK-Adapter, a simple and yet highly efficient and effective framework that unlocks precise skeletal manipulation for native 3D generation. Moving beyond text or image prompts, which can be ambiguous for precise structure, we treat the 3D skeleton as a first-class control signal. SK-Adapter is a lightweight structural adapter network that encodes joint coordinates and topology into learnable tokens, which are injected into the frozen 3D generation backbone via cross-attention. This smart design allows the model to not only effectively "attend" to specific 3D structural constraints but also preserve its original generative priors. To bridge the data gap, we contribute Objaverse-TMS dataset, a large-scale dataset of 24k text-mesh-skeleton pairs. Extensive experiments confirm that our method achieves robust structural control while preserving the geometry and texture quality of the foundation model, significantly outperforming existing baselines. Furthermore, we extend this capability to local 3D editing, enabling the region specific editing of existing assets with skeletal guidance, which is unattainable by previous methods. Project Page: https://sk-adapter.github.io/