モデル編集における適切なファインチューニング

要旨

ファインチューニングは、大規模言語モデルを適応させるための基本的な手法であるが、モデル編集においては長らく非効率的とされてきた。本論文では、この通説に異議を唱え、報告されている失敗はファインチューニング自体の本質的な制約によるものではなく、編集タスクの逐次的な性質に適応させる際の単一パス深さ優先パイプライン、すなわち各サンプルを収束まで最適化してから次に進む手法に起因することを主張する。直感的ではあるが、この深さ優先パイプラインとサンプル単位の更新を組み合わせることで、各編集が過剰に最適化され、編集間での干渉が引き起こされる。我々の制御実験により、ファインチューニングを標準的な幅優先（すなわちエポックベース）パイプラインに戻し、ミニバッチ最適化を適用することで、モデル編集におけるその有効性が大幅に向上することが明らかとなった。さらに、編集におけるファインチューニングは、従来の手法から引き継がれた最適でないチューニングパラメータの位置にも悩まされている。チューニング位置の体系的な分析を通じて、我々はLocFT-BFを導出した。これは、復元されたファインチューニングフレームワークに基づくシンプルで効果的な局所的編集手法である。多様なLLMとデータセットを用いた広範な実験により、LocFT-BFが最先端の手法を大きく上回る性能を示すことが実証された。特に、我々の知る限り、一般的な能力を犠牲にすることなく、100Kの編集と72Bパラメータのモデルを維持する初めての手法であり、従来の実践を10倍上回る成果を達成した。長年の誤解を解き、原則に基づいた局所的チューニング戦略を導入することで、ファインチューニングを過小評価されたベースラインからモデル編集の主要な手法へと進化させ、将来の研究のための堅固な基盤を確立した。

English

Fine-tuning, a foundational method for adapting large language models, has long been considered ineffective for model editing. Here, we challenge this belief, arguing that the reported failure arises not from the inherent limitation of fine-tuning itself, but from adapting it to the sequential nature of the editing task, a single-pass depth-first pipeline that optimizes each sample to convergence before moving on. While intuitive, this depth-first pipeline coupled with sample-wise updating over-optimizes each edit and induces interference across edits. Our controlled experiments reveal that simply restoring fine-tuning to the standard breadth-first (i.e., epoch-based) pipeline with mini-batch optimization substantially improves its effectiveness for model editing. Moreover, fine-tuning in editing also suffers from suboptimal tuning parameter locations inherited from prior methods. Through systematic analysis of tuning locations, we derive LocFT-BF, a simple and effective localized editing method built on the restored fine-tuning framework. Extensive experiments across diverse LLMs and datasets demonstrate that LocFT-BF outperforms state-of-the-art methods by large margins. Notably, to our knowledge, it is the first to sustain 100K edits and 72B-parameter models,10 x beyond prior practice, without sacrificing general capabilities. By clarifying a long-standing misconception and introducing a principled localized tuning strategy, we advance fine-tuning from an underestimated baseline to a leading method for model editing, establishing a solid foundation for future research.

モデル編集における適切なファインチューニング

Fine-tuning Done Right in Model Editing

要旨

Support