SK-Adapter: Skeletgebaseerde structurele controle voor native 3D-generatie

SK-Adapter: Skeleton-Based Structural Control for Native 3D Generation

March 14, 2026

Auteurs: Anbang Wang, Yuzhuo Ao, Shangzhe Wu, Chi-Keung Tang

cs.AI

Samenvatting

Inheemse 3D-generatieve modellen hebben opmerkelijke nauwkeurigheid en snelheid bereikt, maar lijden onder een kritieke beperking: het onvermogen om precieze structurele articulaties voor te schrijven, waarbij precieze structurele controle binnen de native 3D-ruimte onderbelicht blijft. Dit artikel stelt SK-Adapter voor, een eenvoudig en toch zeer efficiënt en effectief raamwerk dat precieze skeletmanipulatie mogelijk maakt voor native 3D-generatie. Voorbijgaand aan tekst- of beeldprompts, die dubbelzinnig kunnen zijn voor precieze structuren, behandelen we het 3D-skelet als een eersteklas controlesignaal. SK-Adapter is een lichtgewicht structureel adapternetwerk dat gewrichtscoördinaten en topologie codeert in leerbare tokens, die via cross-attention worden geïnjecteerd in de bevroren 3D-generatie-backbone. Dit slimme ontwerp stelt het model in staat om niet alleen effectief "aandacht" te besteden aan specifieke 3D-structurele beperkingen, maar ook zijn oorspronkelijke generatieve prioriteiten te behouden. Om de datakloof te overbruggen, dragen we de Objaverse-TMS-dataset bij, een grootschalige dataset van 24k tekst-mesh-skeletparen. Uitgebreide experimenten bevestigen dat onze methode robuuste structurele controle bereikt terwijl de geometrie- en textuurkwaliteit van het foundationmodel behouden blijft, wat aanzienlijk beter presteert dan bestaande baseline-methoden. Bovendien breiden we deze capaciteit uit naar lokale 3D-bewerking, waardoor regionspecifieke bewerking van bestaande assets met skeletgeleiding mogelijk wordt, wat voorheen onbereikbaar was voor eerdere methoden. Projectpagina: https://sk-adapter.github.io/

English

Native 3D generative models have achieved remarkable fidelity and speed, yet they suffer from a critical limitation: inability to prescribe precise structural articulations, where precise structural control within the native 3D space remains underexplored. This paper proposes SK-Adapter, a simple and yet highly efficient and effective framework that unlocks precise skeletal manipulation for native 3D generation. Moving beyond text or image prompts, which can be ambiguous for precise structure, we treat the 3D skeleton as a first-class control signal. SK-Adapter is a lightweight structural adapter network that encodes joint coordinates and topology into learnable tokens, which are injected into the frozen 3D generation backbone via cross-attention. This smart design allows the model to not only effectively "attend" to specific 3D structural constraints but also preserve its original generative priors. To bridge the data gap, we contribute Objaverse-TMS dataset, a large-scale dataset of 24k text-mesh-skeleton pairs. Extensive experiments confirm that our method achieves robust structural control while preserving the geometry and texture quality of the foundation model, significantly outperforming existing baselines. Furthermore, we extend this capability to local 3D editing, enabling the region specific editing of existing assets with skeletal guidance, which is unattainable by previous methods. Project Page: https://sk-adapter.github.io/