SK-Adapter : Contrôle structurel basé sur le squelette pour la génération native 3D

SK-Adapter: Skeleton-Based Structural Control for Native 3D Generation

March 14, 2026

Auteurs: Anbang Wang, Yuzhuo Ao, Shangzhe Wu, Chi-Keung Tang

cs.AI

Résumé

Les modèles génératifs natifs 3D ont atteint une fidélité et une vitesse remarquables, mais ils souffrent d'une limitation critique : l'incapacité à prescrire des articulations structurelles précises, où le contrôle structurel précis dans l'espace 3D natif reste peu exploré. Cet article propose SK-Adapter, un cadre simple mais hautement efficace et efficient qui permet la manipulation squelettique précise pour la génération 3D native. Allant au-delà des invites textuelles ou visuelles, qui peuvent être ambiguës pour une structure précise, nous traitons le squelette 3D comme un signal de contrôle de premier ordre. SK-Adapter est un réseau adaptateur structurel léger qui encode les coordonnées des articulations et la topologie en tokens apprenables, injectés dans le backbone de génération 3D gelé via une attention croisée. Cette conception intelligente permet au modèle non seulement de "prêter attention" efficacement aux contraintes structurelles 3D spécifiques, mais aussi de préserver ses préalables génératifs originaux. Pour combler le déficit de données, nous contribuons avec le jeu de données Objaverse-TMS, un ensemble de données à grande échelle de 24 000 paires texte-maillage-squelette. Des expériences approfondies confirment que notre méthode atteint un contrôle structurel robuste tout en préservant la qualité géométrique et texturale du modèle de base, surpassant significativement les méthodes de référence existantes. De plus, nous étendons cette capacité à l'édition locale 3D, permettant la modification spécifique à une région d'actifs existants avec guidage squelettique, ce qui était inaccessible aux méthodes précédentes. Page du projet : https://sk-adapter.github.io/

English

Native 3D generative models have achieved remarkable fidelity and speed, yet they suffer from a critical limitation: inability to prescribe precise structural articulations, where precise structural control within the native 3D space remains underexplored. This paper proposes SK-Adapter, a simple and yet highly efficient and effective framework that unlocks precise skeletal manipulation for native 3D generation. Moving beyond text or image prompts, which can be ambiguous for precise structure, we treat the 3D skeleton as a first-class control signal. SK-Adapter is a lightweight structural adapter network that encodes joint coordinates and topology into learnable tokens, which are injected into the frozen 3D generation backbone via cross-attention. This smart design allows the model to not only effectively "attend" to specific 3D structural constraints but also preserve its original generative priors. To bridge the data gap, we contribute Objaverse-TMS dataset, a large-scale dataset of 24k text-mesh-skeleton pairs. Extensive experiments confirm that our method achieves robust structural control while preserving the geometry and texture quality of the foundation model, significantly outperforming existing baselines. Furthermore, we extend this capability to local 3D editing, enabling the region specific editing of existing assets with skeletal guidance, which is unattainable by previous methods. Project Page: https://sk-adapter.github.io/