NeuroAda: Aktivierung des Potenzials jedes Neurons für parameter-effizientes Feintuning
NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning
October 21, 2025
papers.authors: Zhi Zhang, Yixian Shen, Congfeng Cao, Ekaterina Shutova
cs.AI
papers.abstract
Bestehende parameter-effiziente Feinabstimmungsmethoden (PEFT) lassen sich hauptsächlich in zwei Kategorien einteilen: additionsbasierte und selektive In-situ-Adaptation. Erstere, wie beispielsweise LoRA, führen zusätzliche Module ein, um das Modell an nachgelagerte Aufgaben anzupassen, und bieten dabei eine hohe Speichereffizienz. Ihre Repräsentationsfähigkeit ist jedoch oft begrenzt, was sie weniger geeignet für fein abgestimmte Anpassungen macht. Im Gegensatz dazu passt letztere direkt eine sorgfältig ausgewählte Teilmenge der ursprünglichen Modellparameter an, was eine präzisere und effektivere Adaptation ermöglicht, jedoch mit dem Nachteil eines deutlich erhöhten Speicherverbrauchs. Um diesen Kompromiss zu überwinden, schlagen wir NeuroAda vor, eine neuartige PEFT-Methode, die eine fein abgestimmte Modellanpassung ermöglicht, während gleichzeitig eine hohe Speichereffizienz gewährleistet wird. Unser Ansatz identifiziert zunächst wichtige Parameter (d. h. Verbindungen innerhalb des Netzwerks) wie bei der selektiven Adaptation und führt dann Umgehungsverbindungen für diese ausgewählten Parameter ein. Während der Feinabstimmung werden nur die Umgehungsverbindungen aktualisiert, während die ursprünglichen Modellparameter eingefroren bleiben. Empirische Ergebnisse auf über 23 Aufgaben aus den Bereichen der natürlichen Sprachgenerierung und -verarbeitung zeigen, dass NeuroAda mit nur ≤ 0,02 % trainierbaren Parametern Spitzenleistungen erzielt und dabei den CUDA-Speicherverbrauch um bis zu 60 % reduziert. Unser Code ist hier verfügbar: https://github.com/FightingFighting/NeuroAda.git.
English
Existing parameter-efficient fine-tuning (PEFT) methods primarily fall into
two categories: addition-based and selective in-situ adaptation. The former,
such as LoRA, introduce additional modules to adapt the model to downstream
tasks, offering strong memory efficiency. However, their representational
capacity is often limited, making them less suitable for fine-grained
adaptation. In contrast, the latter directly fine-tunes a carefully chosen
subset of the original model parameters, allowing for more precise and
effective adaptation, but at the cost of significantly increased memory
consumption. To reconcile this trade-off, we propose NeuroAda, a novel PEFT
method that enables fine-grained model finetuning while maintaining high memory
efficiency. Our approach first identifies important parameters (i.e.,
connections within the network) as in selective adaptation, and then introduces
bypass connections for these selected parameters. During finetuning, only the
bypass connections are updated, leaving the original model parameters frozen.
Empirical results on 23+ tasks spanning both natural language generation and
understanding demonstrate that NeuroAda achieves state-of-the-art performance
with as little as leq 0.02% trainable parameters, while reducing
CUDA memory usage by up to 60%. We release our code here:
https://github.com/FightingFighting/NeuroAda.git.