ShadowPEFT : Réseau fantôme pour le réglage fin efficace en paramètres

ShadowPEFT: Shadow Network for Parameter-Efficient Fine-Tuning

April 21, 2026

Auteurs: Xianming Li, Zongxi Li, Tsz-fung Andrew Lee, Jing Li, Haoran Xie, Qing Li

cs.AI

Résumé

Le fine-tuning efficace en paramètres (PEFT) réduit le coût d'entraînement du fine-tuning complet des paramètres pour les grands modèles de langage (LLM) en n'entraînant qu'un petit ensemble de paramètres spécifiques à la tâche tout en gelant l'architecture pré-entraînée. Cependant, les approches existantes, telles que l'Adaptation Bas-Rang (LoRA), réalisent l'adaptation en insérant des perturbations bas-rang indépendantes directement aux poids individuels, résultant en une paramétrisation locale de l'adaptation. Nous proposons ShadowPEFT, un framework PEFT centralisé qui effectue plutôt un raffinement au niveau des couches via un module fantôme partagé en profondeur. À chaque couche de transformeur, ShadowPEFT maintient un état fantôme parallèle et le fait évoluer itérativement pour obtenir des états cachés progressivement plus riches. Cette conception déplace l'adaptation des perturbations distribuées dans l'espace des poids vers un processus de raffinement partagé dans l'espace des couches. Comme le module fantôme est découplé du modèle principal, il peut être réutilisé à travers les couches, pré-entraîné indépendamment, et déployé optionnellement en mode détaché, ce qui bénéficie aux scénarios de calcul en périphérie. Les expériences sur des benchmarks de génération et de compréhension montrent que ShadowPEFT égale ou surpasse LoRA et DoRA avec des budgets comparables de paramètres entraînables. Des analyses supplémentaires sur le pré-entraînement fantôme, le transfert inter-jeux de données, la mise à l'échelle des paramètres, la latence d'inférence et l'évaluation au niveau système suggèrent que l'adaptation centralisée dans l'espace des couches est une alternative compétitive et flexible aux méthodes PEFT bas-rang conventionnelles.

English

Parameter-efficient fine-tuning (PEFT) reduces the training cost of full-parameter fine-tuning for large language models (LLMs) by training only a small set of task-specific parameters while freezing the pretrained backbone. However, existing approaches, such as Low-Rank Adaptation (LoRA), achieve adaptation by inserting independent low-rank perturbations directly to individual weights, resulting in a local parameterization of adaptation. We propose ShadowPEFT, a centralized PEFT framework that instead performs layer-level refinement through a depth-shared shadow module. At each transformer layer, ShadowPEFT maintains a parallel shadow state and evolves it repeatedly for progressively richer hidden states. This design shifts adaptation from distributed weight-space perturbations to a shared layer-space refinement process. Since the shadow module is decoupled from the backbone, it can be reused across depth, independently pretrained, and optionally deployed in a detached mode, benefiting edge computing scenarios. Experiments on generation and understanding benchmarks show that ShadowPEFT matches or outperforms LoRA and DoRA under comparable trainable-parameter budgets. Additional analyses on shadow pretraining, cross-dataset transfer, parameter scaling, inference latency, and system-level evaluation suggest that centralized layer-space adaptation is a competitive and flexible alternative to conventional low-rank PEFT.