PEFT-Arena: 安定性-可塑性の観点からパラメータ効率的ファインチューニングを理解する

要旨

パラメータ効率的なファインチューニング（PEFT）は、大規模言語モデルを適応させるための標準的なアプローチとなっているが、評価は主に下流タスクの精度に重点を置き、事前学習された能力の保持を見落としている。我々は、PEFTは安定性-可塑性ジレンマ、すなわち目標タスクへの適応と忘却への耐性の間のトレードオフを通じて評価されるべきだと主張する。我々は、下流タスクのパフォーマンスと汎用能力の保持を同時に測定するベンチマーク、PEFT-Arenaを導入する。様々な手法にわたって、我々は異なる安定性-可塑性プロファイルを発見した。同等のパラメータ予算の下では、直交ファインチューニングが最も好ましいパレートフロンティアを達成する。これらの違いを説明するために、我々はPEFT更新を2つの幾何学的観点から分析する。重み空間では、スペクトル分析により、パラメータ化が事前学習された特異値構造とどのように相互作用するかが明らかになる。活性化空間では、保持指標により、ファインチューニングが汎用能力表現を保存するか歪めるかが示され、忘却は等長でない表現歪みと関連している。最後に、分析により、最終的なSFTチェックポイントはしばしばより良い目標保持動作点をオーバーシュートすることが示される。これに着想を得て、我々は経路方向の巻き戻しを用いた事後的改善の事例研究を提示する。

English

Parameter-efficient finetuning (PEFT) has become the standard approach for adapting large language models, yet evaluations largely emphasize downstream accuracy while overlooking the retention of pretrained capabilities. We argue that PEFT should be assessed through the stability-plasticity dilemma: the trade-off between target-task adaptation and resistance to forgetting. We introduce PEFT-Arena, a benchmark that jointly measures downstream performance and general capability retention. Across methods, we find distinct stability-plasticity profiles; under comparable parameter budgets, orthogonal finetuning achieves the most favorable Pareto frontier. To explain these differences, we analyze PEFT updates from two geometric perspectives. In weight space, spectral analysis reveals how parameterizations interact with the pretrained singular-value structure. In activation space, retention metrics show whether finetuning preserves or distorts general-capability representations, with forgetting linked to non-isometric representation distortion. Finally, an analysis shows that final SFT checkpoints often overshoot a better target-retention operating point. Inspired by this, we present case studies of a post-hoc improvement with path-wise rewinding.