PEFT-Arena: 안정성-가소성 관점에서 본 파라미터 효율적 미세 조정의 이해

초록

파라미터 효율적 미세조정(PEFT)은 대규모 언어 모델을 적용하기 위한 표준 접근 방식이 되었지만, 평가는 주로 하류 작업 정확도에 초점을 맞추고 사전 훈련된 능력의 유지는 간과하고 있다. 본 논문은 PEFT가 안정성-가소성 딜레마, 즉 대상 작업 적응과 망각 저항성 간의 상충 관계를 통해 평가되어야 한다고 주장한다. 우리는 하류 작업 성능과 일반 능력 유지를 동시에 측정하는 벤치마크인 PEFT-Arena를 도입한다. 방법들 간에 뚜렷한 안정성-가소성 프로파일이 발견되었으며, 유사한 파라미터 예산 하에서 직교 미세조정이 가장 유리한 파레토 경계를 달성한다. 이러한 차이를 설명하기 위해, 우리는 두 가지 기하학적 관점에서 PEFT 업데이트를 분석한다. 가중치 공간에서 스펙트럼 분석은 파라미터화가 사전 훈련된 특이값 구조와 상호작용하는 방식을 밝혀낸다. 활성화 공간에서 유지 지표는 미세조정이 일반 능력 표현을 보존하는지 왜곡하는지 보여주며, 망각은 비등거리 표현 왜곡과 연관된다. 마지막으로, 최종 SFT 체크포인트는 종종 더 나은 목표-유지 작동 지점을 초과하는 경향이 있음을 분석으로 보여준다. 이에 영감을 받아, 우리는 경로 기반 되감기를 통한 사후 개선의 사례 연구를 제시한다.

English

Parameter-efficient finetuning (PEFT) has become the standard approach for adapting large language models, yet evaluations largely emphasize downstream accuracy while overlooking the retention of pretrained capabilities. We argue that PEFT should be assessed through the stability-plasticity dilemma: the trade-off between target-task adaptation and resistance to forgetting. We introduce PEFT-Arena, a benchmark that jointly measures downstream performance and general capability retention. Across methods, we find distinct stability-plasticity profiles; under comparable parameter budgets, orthogonal finetuning achieves the most favorable Pareto frontier. To explain these differences, we analyze PEFT updates from two geometric perspectives. In weight space, spectral analysis reveals how parameterizations interact with the pretrained singular-value structure. In activation space, retention metrics show whether finetuning preserves or distorts general-capability representations, with forgetting linked to non-isometric representation distortion. Finally, an analysis shows that final SFT checkpoints often overshoot a better target-retention operating point. Inspired by this, we present case studies of a post-hoc improvement with path-wise rewinding.