NeuroAda : Activation du potentiel de chaque neurone pour un réglage fin efficace en paramètres

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning

October 21, 2025

papers.authors: Zhi Zhang, Yixian Shen, Congfeng Cao, Ekaterina Shutova

cs.AI

papers.abstract

Les méthodes existantes de réglage fin efficace en paramètres (PEFT) se répartissent principalement en deux catégories : l'adaptation basée sur l'ajout et l'adaptation sélective in situ. La première, comme LoRA, introduit des modules supplémentaires pour adapter le modèle aux tâches en aval, offrant une forte efficacité mémoire. Cependant, leur capacité de représentation est souvent limitée, les rendant moins adaptées à une adaptation fine. En revanche, la seconde ajuste directement un sous-ensemble soigneusement choisi des paramètres originaux du modèle, permettant une adaptation plus précise et efficace, mais au prix d'une consommation mémoire significativement accrue. Pour concilier ce compromis, nous proposons NeuroAda, une nouvelle méthode PEFT qui permet un réglage fin granulaire du modèle tout en maintenant une haute efficacité mémoire. Notre approche identifie d'abord les paramètres importants (c'est-à-dire les connexions au sein du réseau) comme dans l'adaptation sélective, puis introduit des connexions de contournement pour ces paramètres sélectionnés. Pendant le réglage fin, seules les connexions de contournement sont mises à jour, laissant les paramètres originaux du modèle figés. Les résultats empiriques sur plus de 23 tâches couvrant à la fois la génération et la compréhension du langage naturel démontrent que NeuroAda atteint des performances de pointe avec aussi peu que ≤ 0,02 % de paramètres entraînables, tout en réduisant l'utilisation de la mémoire CUDA jusqu'à 60 %. Nous publions notre code ici : https://github.com/FightingFighting/NeuroAda.git.

English

Existing parameter-efficient fine-tuning (PEFT) methods primarily fall into two categories: addition-based and selective in-situ adaptation. The former, such as LoRA, introduce additional modules to adapt the model to downstream tasks, offering strong memory efficiency. However, their representational capacity is often limited, making them less suitable for fine-grained adaptation. In contrast, the latter directly fine-tunes a carefully chosen subset of the original model parameters, allowing for more precise and effective adaptation, but at the cost of significantly increased memory consumption. To reconcile this trade-off, we propose NeuroAda, a novel PEFT method that enables fine-grained model finetuning while maintaining high memory efficiency. Our approach first identifies important parameters (i.e., connections within the network) as in selective adaptation, and then introduces bypass connections for these selected parameters. During finetuning, only the bypass connections are updated, leaving the original model parameters frozen. Empirical results on 23+ tasks spanning both natural language generation and understanding demonstrate that NeuroAda achieves state-of-the-art performance with as little as leq 0.02% trainable parameters, while reducing CUDA memory usage by up to 60%. We release our code here: https://github.com/FightingFighting/NeuroAda.git.