NeuroAda: Het activeren van het potentieel van elke neuron voor parameter-efficiënte fine-tuning

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning

October 21, 2025

Auteurs: Zhi Zhang, Yixian Shen, Congfeng Cao, Ekaterina Shutova

cs.AI

Samenvatting

Bestaande parameter-efficiënte fine-tuning (PEFT) methoden vallen voornamelijk in twee categorieën: op toevoeging gebaseerde en selectieve in-situ aanpassing. De eerste, zoals LoRA, introduceert aanvullende modules om het model aan te passen aan downstream taken, wat een sterke geheugenefficiëntie biedt. Hun representatiecapaciteit is echter vaak beperkt, waardoor ze minder geschikt zijn voor fijnmazige aanpassing. Daarentegen past de tweede categorie direct een zorgvuldig gekozen subset van de originele modelparameters aan, wat een preciezere en effectievere aanpassing mogelijk maakt, maar ten koste van een aanzienlijk hoger geheugengebruik. Om deze afweging te verzoenen, stellen we NeuroAda voor, een nieuwe PEFT-methode die fijnmazige model-finetuning mogelijk maakt terwijl een hoge geheugenefficiëntie behouden blijft. Onze aanpak identificeert eerst belangrijke parameters (d.w.z. verbindingen binnen het netwerk) zoals bij selectieve aanpassing, en introduceert vervolgens bypass-verbindingen voor deze geselecteerde parameters. Tijdens het finetunen worden alleen de bypass-verbindingen bijgewerkt, terwijl de originele modelparameters bevroren blijven. Empirische resultaten op meer dan 23 taken, variërend van natuurlijke taalgeneratie tot -begrip, tonen aan dat NeuroAda state-of-the-art prestaties bereikt met slechts ≤ 0,02% trainbare parameters, terwijl het CUDA-geheugengebruik met tot wel 60% wordt verminderd. We hebben onze code hier vrijgegeven: https://github.com/FightingFighting/NeuroAda.git.

English

Existing parameter-efficient fine-tuning (PEFT) methods primarily fall into two categories: addition-based and selective in-situ adaptation. The former, such as LoRA, introduce additional modules to adapt the model to downstream tasks, offering strong memory efficiency. However, their representational capacity is often limited, making them less suitable for fine-grained adaptation. In contrast, the latter directly fine-tunes a carefully chosen subset of the original model parameters, allowing for more precise and effective adaptation, but at the cost of significantly increased memory consumption. To reconcile this trade-off, we propose NeuroAda, a novel PEFT method that enables fine-grained model finetuning while maintaining high memory efficiency. Our approach first identifies important parameters (i.e., connections within the network) as in selective adaptation, and then introduces bypass connections for these selected parameters. During finetuning, only the bypass connections are updated, leaving the original model parameters frozen. Empirical results on 23+ tasks spanning both natural language generation and understanding demonstrate that NeuroAda achieves state-of-the-art performance with as little as leq 0.02% trainable parameters, while reducing CUDA memory usage by up to 60%. We release our code here: https://github.com/FightingFighting/NeuroAda.git.