NeuroAda: Attivazione del Potenziale di Ogni Neurone per un Fine-Tuning Efficiente in Termini di Parametri

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning

October 21, 2025

Autori: Zhi Zhang, Yixian Shen, Congfeng Cao, Ekaterina Shutova

cs.AI

Abstract

I metodi esistenti di fine-tuning efficiente in termini di parametri (PEFT) rientrano principalmente in due categorie: adattamento basato su aggiunta e adattamento selettivo in-situ. Il primo, come LoRA, introduce moduli aggiuntivi per adattare il modello ai task downstream, offrendo una forte efficienza in termini di memoria. Tuttavia, la loro capacità rappresentativa è spesso limitata, rendendoli meno adatti per adattamenti granulari. Al contrario, il secondo effettua il fine-tuning diretto di un sottoinsieme accuratamente selezionato dei parametri originali del modello, consentendo un adattamento più preciso ed efficace, ma al costo di un consumo di memoria significativamente aumentato. Per conciliare questo compromesso, proponiamo NeuroAda, un nuovo metodo PEFT che consente il fine-tuning granulare del modello mantenendo un'elevata efficienza in termini di memoria. Il nostro approccio identifica prima i parametri importanti (cioè, le connessioni all'interno della rete) come nell'adattamento selettivo, e poi introduce connessioni di bypass per questi parametri selezionati. Durante il fine-tuning, vengono aggiornate solo le connessioni di bypass, lasciando congelati i parametri originali del modello. I risultati empirici su oltre 23 task che spaziano dalla generazione alla comprensione del linguaggio naturale dimostrano che NeuroAda raggiunge prestazioni all'avanguardia con appena ≤ 0,02% di parametri addestrabili, riducendo l'uso della memoria CUDA fino al 60%. Rilasciamo il nostro codice qui: https://github.com/FightingFighting/NeuroAda.git.

English

Existing parameter-efficient fine-tuning (PEFT) methods primarily fall into two categories: addition-based and selective in-situ adaptation. The former, such as LoRA, introduce additional modules to adapt the model to downstream tasks, offering strong memory efficiency. However, their representational capacity is often limited, making them less suitable for fine-grained adaptation. In contrast, the latter directly fine-tunes a carefully chosen subset of the original model parameters, allowing for more precise and effective adaptation, but at the cost of significantly increased memory consumption. To reconcile this trade-off, we propose NeuroAda, a novel PEFT method that enables fine-grained model finetuning while maintaining high memory efficiency. Our approach first identifies important parameters (i.e., connections within the network) as in selective adaptation, and then introduces bypass connections for these selected parameters. During finetuning, only the bypass connections are updated, leaving the original model parameters frozen. Empirical results on 23+ tasks spanning both natural language generation and understanding demonstrate that NeuroAda achieves state-of-the-art performance with as little as leq 0.02% trainable parameters, while reducing CUDA memory usage by up to 60%. We release our code here: https://github.com/FightingFighting/NeuroAda.git.