ShadowPEFT: Rete Ombra per il Fine-Tuning Efficiente dei Parametri
ShadowPEFT: Shadow Network for Parameter-Efficient Fine-Tuning
April 21, 2026
Autori: Xianming Li, Zongxi Li, Tsz-fung Andrew Lee, Jing Li, Haoran Xie, Qing Li
cs.AI
Abstract
Il fine-tuning efficiente dei parametri (PEFT) riduce il costo addestrativo del fine-tuning completo dei parametri per i grandi modelli linguistici (LLM) addestrando solo un piccolo insieme di parametri specifici per il compito, mantenendo congelato il backbone preaddestrato. Tuttavia, gli approcci esistenti, come Low-Rank Adaptation (LoRA), ottengono l'adattamento inserendo perturbazioni indipendenti a basso rango direttamente sui singoli pesi, risultando in una parametrizzazione locale dell'adattamento. Noi proponiamo ShadowPEFT, un framework PEFT centralizzato che invece esegue un raffinamento a livello di layer attraverso un modulo shadow condiviso in profondità. Ad ogni layer del transformer, ShadowPEFT mantiene uno stato shadow parallelo e lo evolve ripetutamente per ottenere stati nascosti progressivamente più ricchi. Questo progetto sposta l'adattamento da perturbazioni distribuite nello spazio dei pesi a un processo di raffinamento condiviso nello spazio dei layer. Poiché il modulo shadow è disaccoppiato dal backbone, può essere riutilizzato attraverso la profondità, preaddestrato indipendentemente e opzionalmente impiegato in una modalità distaccata, avvantaggiando scenari di edge computing. Esperimenti su benchmark di generazione e comprensione mostrano che ShadowPEFT eguaglia o supera LoRA e DoRA con budget di parametri addestrabili comparabili. Ulteriori analisi sul preaddestramento dello shadow, trasferimento cross-dataset, scalabilità dei parametri, latenza di inferenza e valutazione a livello di sistema suggeriscono che l'adattamento centralizzato nello spazio dei layer è un'alternativa competitiva e flessibile al PEFT a basso rango convenzionale.
English
Parameter-efficient fine-tuning (PEFT) reduces the training cost of full-parameter fine-tuning for large language models (LLMs) by training only a small set of task-specific parameters while freezing the pretrained backbone. However, existing approaches, such as Low-Rank Adaptation (LoRA), achieve adaptation by inserting independent low-rank perturbations directly to individual weights, resulting in a local parameterization of adaptation. We propose ShadowPEFT, a centralized PEFT framework that instead performs layer-level refinement through a depth-shared shadow module. At each transformer layer, ShadowPEFT maintains a parallel shadow state and evolves it repeatedly for progressively richer hidden states. This design shifts adaptation from distributed weight-space perturbations to a shared layer-space refinement process. Since the shadow module is decoupled from the backbone, it can be reused across depth, independently pretrained, and optionally deployed in a detached mode, benefiting edge computing scenarios. Experiments on generation and understanding benchmarks show that ShadowPEFT matches or outperforms LoRA and DoRA under comparable trainable-parameter budgets. Additional analyses on shadow pretraining, cross-dataset transfer, parameter scaling, inference latency, and system-level evaluation suggest that centralized layer-space adaptation is a competitive and flexible alternative to conventional low-rank PEFT.