Omega-S: LLMファインチューニングのための機能的レジリエンス指標

要旨

大規模言語モデルを新しいデータでファインチューニングすると、以前に学習した内容が劣化する。我々は、重み行列だけから計算されるドロップイン型ペナルティであるOmega-Sを提案する。これは、以前のタスクのデータもフィッシャー行列も、旧重みの保存コピーも必要としない。既存の訓練ループに3行追加するだけで、1ステップあたりのコストを4%未満しか増加させない。保持性能。Llama-3-8B と LoRA を用い、コードから散文へファインチューニングし、HumanEval で10個のシードにわたって評価したところ、Omega-S は10シード中9シードで無正則化よりも元の能力を保持した（pass@1 絶対値で 0.173→0.238、符号検定（片側）p=0.011、ウィルコクソン符号順位検定 p=0.006）。保持率としては 62.9%→84.1% である。また、調整済みの重み減衰には10シード中10シードで勝ち（p=0.002）、調整済み EWC には10シード中8シードで勝った（p=0.014）。すべての比較条件は同一セッション内で再測定された。メカニズム：主張ではなく計測。Omega-S は構成上は位相的であり、その目的関数は Tr(A^3) から構築されている。しかし我々は、その4つの因子のうち実際に変化するのはどれかを計測し、3つは動かないことを確認した。それらの重みに対する弾性は 1e-4 以下であり、一方で次数分散項は 9e-3 である。実装上、この複合項はノード次数の分散に対するペナルティに帰着する。これは、正方モジュールでは行の大きさを、非正方モジュールでは方向の整列を罰することを意味する。名前が約束するものと勾配が行うことが異なる手法は、そのことを明示すべきであるため、我々はこれを報告する。また、設計どおりに機能するにもかかわらず10シードすべてで保持性能を悪化させる、コントラスト保存型の構成を含む、未解決の設計上の選択肢も列挙する。同一の構成、同一シード、同一ハードウェアで繰り返すと、保持率の標準偏差は 0.104 となる。この値が言語モデルの低ランクファインチューニングについて定量化された例は我々の知る限りなく、これは本分野の（我々のものを含む）すべてのシード対応比較を制約する。コード、シードごとの結果、および否定的結果の完全な記録は入手可能である。

English

Fine-tuning a large language model on new data degrades what it previously learned. We present Omega-S, a drop-in penalty computed from the weight matrix alone: it needs no previous-task data, no Fisher matrix and no stored copy of the old weights. It is three lines in an existing training loop and adds under 4% to the cost of a step. Retention. On Llama-3-8B with LoRA, fine-tuned from code to prose and measured by HumanEval over ten seeds, Omega-S retains more of the original capability than no regularisation on 9 of 10 seeds (0.173 -> 0.238 absolute pass@1; sign test one-sided p=0.011, Wilcoxon p=0.006), as a retention ratio, 62.9% -> 84.1%. It also beats tuned weight decay on 10 of 10 seeds (p=0.002) and tuned EWC on 8 of 10 (p=0.014), every arm re-measured in the same session. Mechanism, measured rather than asserted. Omega-S is topological by construction, its objective built from Tr(A^3), but we measured which of its four factors actually moves and three do not: their elasticity with respect to the weights is at or below 1e-4, against 9e-3 for the degree-variance term. As implemented, the composite reduces to a penalty on the variance of node degrees, which means row magnitude in square modules and directional alignment in non-square ones. We report this because a method whose name promises one thing and whose gradient does another should say so. We also enumerate the open design choices, including a contrast-preserving construction that does what it was designed to do and makes retention worse on all ten seeds. Repeating an identical configuration, same seed and same hardware, gives a standard deviation of 0.104 in retention ratio. We have not found this quantified for low-rank fine-tuning of language models, and it bounds every seed-paired comparison in this literature, ours included. Code, per-seed results and the full record of negative results are available.