NeuroAda: Активация потенциала каждого нейрона для эффективной по параметрам тонкой настройки

NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning

October 21, 2025

Авторы: Zhi Zhang, Yixian Shen, Congfeng Cao, Ekaterina Shutova

cs.AI

Аннотация

Существующие методы параметрически эффективной тонкой настройки (PEFT) в основном делятся на две категории: основанные на добавлении и селективная адаптация на месте. Первые, такие как LoRA, вводят дополнительные модули для адаптации модели к последующим задачам, обеспечивая высокую эффективность использования памяти. Однако их репрезентационная способность часто ограничена, что делает их менее подходящими для тонкой адаптации. В отличие от этого, вторые напрямую настраивают тщательно выбранное подмножество параметров исходной модели, что позволяет более точно и эффективно адаптировать модель, но за счет значительного увеличения потребления памяти. Чтобы устранить этот компромисс, мы предлагаем NeuroAda, новый метод PEFT, который позволяет проводить тонкую настройку модели, сохраняя при этом высокую эффективность использования памяти. Наш подход сначала идентифицирует важные параметры (т.е. связи внутри сети), как в селективной адаптации, а затем вводит обходные соединения для этих выбранных параметров. Во время тонкой настройки обновляются только обходные соединения, оставляя параметры исходной модели замороженными. Эмпирические результаты на более чем 23 задачах, охватывающих как генерацию, так и понимание естественного языка, демонстрируют, что NeuroAda достигает наилучших результатов с использованием всего leq 0.02% обучаемых параметров, при этом сокращая использование памяти CUDA до 60%. Мы публикуем наш код здесь: https://github.com/FightingFighting/NeuroAda.git.

English

Existing parameter-efficient fine-tuning (PEFT) methods primarily fall into two categories: addition-based and selective in-situ adaptation. The former, such as LoRA, introduce additional modules to adapt the model to downstream tasks, offering strong memory efficiency. However, their representational capacity is often limited, making them less suitable for fine-grained adaptation. In contrast, the latter directly fine-tunes a carefully chosen subset of the original model parameters, allowing for more precise and effective adaptation, but at the cost of significantly increased memory consumption. To reconcile this trade-off, we propose NeuroAda, a novel PEFT method that enables fine-grained model finetuning while maintaining high memory efficiency. Our approach first identifies important parameters (i.e., connections within the network) as in selective adaptation, and then introduces bypass connections for these selected parameters. During finetuning, only the bypass connections are updated, leaving the original model parameters frozen. Empirical results on 23+ tasks spanning both natural language generation and understanding demonstrate that NeuroAda achieves state-of-the-art performance with as little as leq 0.02% trainable parameters, while reducing CUDA memory usage by up to 60%. We release our code here: https://github.com/FightingFighting/NeuroAda.git.