ShadowPEFT: Rede Sombra para Ajuste Fino Eficiente em Parâmetros
ShadowPEFT: Shadow Network for Parameter-Efficient Fine-Tuning
April 21, 2026
Autores: Xianming Li, Zongxi Li, Tsz-fung Andrew Lee, Jing Li, Haoran Xie, Qing Li
cs.AI
Resumo
O ajuste fino eficiente em parâmetros (PEFT) reduz o custo de treinamento do ajuste fino de parâmetros completos para grandes modelos de linguagem (LLMs) ao treinar apenas um pequeno conjunto de parâmetros específicos da tarefa, mantendo congelada a estrutura pré-treinada. No entanto, abordagens existentes, como a Adaptação de Baixa Classificação (LoRA), alcançam a adaptação inserindo perturbações independentes de baixa classificação diretamente em pesos individuais, resultando em uma parametrização local da adaptação. Propomos o ShadowPEFT, uma estrutura PEFT centralizada que, em vez disso, realiza um refinamento em nível de camada por meio de um módulo sombra compartilhado em profundidade. Em cada camada do transformador, o ShadowPEFT mantém um estado sombra paralelo e o evolui repetidamente para obter estados ocultos progressivamente mais ricos. Este projeto desloca a adaptação de perturbações distribuídas no espaço de pesos para um processo de refinamento compartilhado no espaço de camadas. Como o módulo sombra é desacoplado da estrutura principal, ele pode ser reutilizado ao longo da profundidade, pré-treinado independentemente e implantado opcionalmente em modo desacoplado, beneficiando cenários de computação de borda. Experimentos em benchmarks de geração e compreensão mostram que o ShadowPEFT iguala ou supera o LoRA e o DoRA sob orçamentos comparáveis de parâmetros treináveis. Análises adicionais sobre pré-treinamento sombra, transferência entre conjuntos de dados, escalonamento de parâmetros, latência de inferência e avaliação em nível de sistema sugerem que a adaptação centralizada no espaço de camadas é uma alternativa competitiva e flexível aos métodos PEFT convencionais de baixa classificação.
English
Parameter-efficient fine-tuning (PEFT) reduces the training cost of full-parameter fine-tuning for large language models (LLMs) by training only a small set of task-specific parameters while freezing the pretrained backbone. However, existing approaches, such as Low-Rank Adaptation (LoRA), achieve adaptation by inserting independent low-rank perturbations directly to individual weights, resulting in a local parameterization of adaptation. We propose ShadowPEFT, a centralized PEFT framework that instead performs layer-level refinement through a depth-shared shadow module. At each transformer layer, ShadowPEFT maintains a parallel shadow state and evolves it repeatedly for progressively richer hidden states. This design shifts adaptation from distributed weight-space perturbations to a shared layer-space refinement process. Since the shadow module is decoupled from the backbone, it can be reused across depth, independently pretrained, and optionally deployed in a detached mode, benefiting edge computing scenarios. Experiments on generation and understanding benchmarks show that ShadowPEFT matches or outperforms LoRA and DoRA under comparable trainable-parameter budgets. Additional analyses on shadow pretraining, cross-dataset transfer, parameter scaling, inference latency, and system-level evaluation suggest that centralized layer-space adaptation is a competitive and flexible alternative to conventional low-rank PEFT.