SK-Adapter: Skelettbasierte Strukturkontrolle für native 3D-Generierung

SK-Adapter: Skeleton-Based Structural Control for Native 3D Generation

March 14, 2026

Autoren: Anbang Wang, Yuzhuo Ao, Shangzhe Wu, Chi-Keung Tang

cs.AI

Zusammenfassung

Native 3D-Generativmodelle haben eine bemerkenswerte Detailtreue und Geschwindigkeit erreicht, leiden jedoch unter einer entscheidenden Einschränkung: der Unfähigkeit, präzise strukturelle Artikulationen vorzugeben, wobei die präzise strukturelle Steuerung im nativen 3D-Raum nach wie vor unzureichend erforscht ist. Dieses Paper stellt SK-Adapter vor, ein einfaches und dennoch hocheffizientes und effektives Framework, das eine präzise skeletale Manipulation für die native 3D-Generierung ermöglicht. Über textuelle oder bildbasierte Eingabeaufforderungen hinaus, die für präzise Strukturen mehrdeutig sein können, behandeln wir das 3D-Skelett als ein primäres Steuersignal. SK-Adapter ist ein leichtgewichtiges strukturelles Adapter-Netzwerk, das Gelenkkoordinaten und Topologie in lernbare Tokens kodiert, die via Cross-Attention in das eingefrorene 3D-Generierungs-Backbone injiziert werden. Dieses intelligente Design ermöglicht es dem Modell, nicht nur effektiv auf spezifische 3D-Strukturvorgaben zu „achten“, sondern auch seine ursprünglichen generativen Priors zu bewahren. Um die Datenlücke zu schließen, präsentieren wir den Objaverse-TMS-Datensatz, einen großen Datensatz mit 24.000 Text-Mesh-Skelett-Paaren. Umfangreiche Experimente bestätigen, dass unsere Methode eine robuste strukturelle Steuerung erreicht und dabei die Geometrie- und Texturqualität des Foundation-Models erhält, wobei sie existierende Baseline-Methoden signifikant übertrifft. Darüber hinaus erweitern wir diese Fähigkeit auf die lokale 3D-Bearbeitung, was die regionsspezifische Bearbeitung bestehender Assets mit skeletaler Führung ermöglicht – etwas, das mit früheren Methoden nicht erreichbar war. Projektseite: https://sk-adapter.github.io/

English

Native 3D generative models have achieved remarkable fidelity and speed, yet they suffer from a critical limitation: inability to prescribe precise structural articulations, where precise structural control within the native 3D space remains underexplored. This paper proposes SK-Adapter, a simple and yet highly efficient and effective framework that unlocks precise skeletal manipulation for native 3D generation. Moving beyond text or image prompts, which can be ambiguous for precise structure, we treat the 3D skeleton as a first-class control signal. SK-Adapter is a lightweight structural adapter network that encodes joint coordinates and topology into learnable tokens, which are injected into the frozen 3D generation backbone via cross-attention. This smart design allows the model to not only effectively "attend" to specific 3D structural constraints but also preserve its original generative priors. To bridge the data gap, we contribute Objaverse-TMS dataset, a large-scale dataset of 24k text-mesh-skeleton pairs. Extensive experiments confirm that our method achieves robust structural control while preserving the geometry and texture quality of the foundation model, significantly outperforming existing baselines. Furthermore, we extend this capability to local 3D editing, enabling the region specific editing of existing assets with skeletal guidance, which is unattainable by previous methods. Project Page: https://sk-adapter.github.io/