NeuroAda: 各ニューロンの潜在能力を活性化するパラメータ効率の良いファインチューニング

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning

October 21, 2025

著者: Zhi Zhang, Yixian Shen, Congfeng Cao, Ekaterina Shutova

cs.AI

要旨

既存のパラメータ効率的なファインチューニング（PEFT）手法は、主に2つのカテゴリに分類されます：追加ベースと選択的インサイチュ適応です。前者は、LoRAなどのように、下流タスクに適応するために追加モジュールを導入し、高いメモリ効率を提供します。しかし、その表現能力はしばしば限られており、細かい適応にはあまり適していません。一方、後者は、元のモデルパラメータの慎重に選ばれたサブセットを直接ファインチューニングし、より正確で効果的な適応を可能にしますが、メモリ消費量が大幅に増加するという代償を伴います。このトレードオフを解消するために、我々はNeuroAdaという新しいPEFT手法を提案します。この手法は、細かいモデルファインチューニングを可能にしつつ、高いメモリ効率を維持します。我々のアプローチでは、まず選択的適応と同様に重要なパラメータ（すなわち、ネットワーク内の接続）を特定し、次にこれらの選択されたパラメータに対してバイパス接続を導入します。ファインチューニング中は、バイパス接続のみが更新され、元のモデルパラメータは凍結されたままです。自然言語生成と理解の両方にまたがる23以上のタスクでの実験結果は、NeuroAdaがleq 0.02%の学習可能パラメータで最先端の性能を達成し、CUDAメモリ使用量を最大60%削減することを示しています。我々のコードはこちらで公開しています：https://github.com/FightingFighting/NeuroAda.git。

English

Existing parameter-efficient fine-tuning (PEFT) methods primarily fall into two categories: addition-based and selective in-situ adaptation. The former, such as LoRA, introduce additional modules to adapt the model to downstream tasks, offering strong memory efficiency. However, their representational capacity is often limited, making them less suitable for fine-grained adaptation. In contrast, the latter directly fine-tunes a carefully chosen subset of the original model parameters, allowing for more precise and effective adaptation, but at the cost of significantly increased memory consumption. To reconcile this trade-off, we propose NeuroAda, a novel PEFT method that enables fine-grained model finetuning while maintaining high memory efficiency. Our approach first identifies important parameters (i.e., connections within the network) as in selective adaptation, and then introduces bypass connections for these selected parameters. During finetuning, only the bypass connections are updated, leaving the original model parameters frozen. Empirical results on 23+ tasks spanning both natural language generation and understanding demonstrate that NeuroAda achieves state-of-the-art performance with as little as leq 0.02% trainable parameters, while reducing CUDA memory usage by up to 60%. We release our code here: https://github.com/FightingFighting/NeuroAda.git.