NeuroAda: 각 뉴런의 잠재력을 활성화하여 파라미터 효율적 미세 조정 달성
NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning
October 21, 2025
저자: Zhi Zhang, Yixian Shen, Congfeng Cao, Ekaterina Shutova
cs.AI
초록
기존의 파라미터 효율적 미세 조정(PEFT) 방법은 주로 두 가지 범주로 나뉩니다: 추가 기반 방식과 선택적 현지 적응 방식입니다. 전자의 경우, LoRA와 같은 방법이 추가 모듈을 도입하여 모델을 다운스트림 작업에 적응시키며, 강력한 메모리 효율성을 제공합니다. 그러나 이러한 방법의 표현 능력은 종종 제한적이어서, 세밀한 적응에는 적합하지 않습니다. 반면, 후자의 방식은 원본 모델 파라미터 중 신중하게 선택된 부분 집합을 직접 미세 조정함으로써 더 정밀하고 효과적인 적응을 가능하게 하지만, 이는 상당히 증가한 메모리 소비를 초래합니다. 이러한 트레이드오프를 조화롭게 해결하기 위해, 우리는 NeuroAda라는 새로운 PEFT 방법을 제안합니다. 이 방법은 높은 메모리 효율성을 유지하면서도 세밀한 모델 미세 조정을 가능하게 합니다. 우리의 접근 방식은 먼저 선택적 적응 방식과 마찬가지로 중요한 파라미터(즉, 네트워크 내의 연결)를 식별한 다음, 이러한 선택된 파라미터에 대해 바이패스 연결을 도입합니다. 미세 조정 과정에서 오직 바이패스 연결만이 업데이트되며, 원본 모델 파라미터는 동결 상태로 유지됩니다. 자연어 생성 및 이해를 포함한 23개 이상의 작업에 대한 실험 결과는 NeuroAda가 0.02% 이하의 학습 가능한 파라미터만으로도 최첨단 성능을 달성하며, CUDA 메모리 사용량을 최대 60%까지 줄일 수 있음을 보여줍니다. 우리는 코드를 여기에서 공개합니다: https://github.com/FightingFighting/NeuroAda.git.
English
Existing parameter-efficient fine-tuning (PEFT) methods primarily fall into
two categories: addition-based and selective in-situ adaptation. The former,
such as LoRA, introduce additional modules to adapt the model to downstream
tasks, offering strong memory efficiency. However, their representational
capacity is often limited, making them less suitable for fine-grained
adaptation. In contrast, the latter directly fine-tunes a carefully chosen
subset of the original model parameters, allowing for more precise and
effective adaptation, but at the cost of significantly increased memory
consumption. To reconcile this trade-off, we propose NeuroAda, a novel PEFT
method that enables fine-grained model finetuning while maintaining high memory
efficiency. Our approach first identifies important parameters (i.e.,
connections within the network) as in selective adaptation, and then introduces
bypass connections for these selected parameters. During finetuning, only the
bypass connections are updated, leaving the original model parameters frozen.
Empirical results on 23+ tasks spanning both natural language generation and
understanding demonstrate that NeuroAda achieves state-of-the-art performance
with as little as leq 0.02% trainable parameters, while reducing
CUDA memory usage by up to 60%. We release our code here:
https://github.com/FightingFighting/NeuroAda.git.