Omega-S: LLM 미세조정을 위한 기능적 탄력성 지표

초록

대규모 언어 모델을 새 데이터로 파인튜닝하면 이전에 학습한 내용이 저하된다. 우리는 가중치 행렬만으로 계산되는 드롭인(drop-in) 패널티인 Omega-S를 제시한다. 이전 작업 데이터, 피셔 행렬, 이전 가중치의 저장 사본이 전혀 필요 없다. 기존 훈련 루프에 세 줄만 추가하면 되며 스텝당 비용이 4% 미만으로 증가한다. **유지 성능(Retention).** LoRA를 적용한 Llama-3-8B를 코드에서 산문으로 파인튜닝하고 10개 시드에 걸쳐 HumanEval로 측정한 결과, Omega-S는 10개 시드 중 9개에서 정규화를 적용하지 않은 경우보다 원래 능력을 더 많이 유지했다(절대 pass@1 0.173 → 0.238, 부호 검정 단측 p=0.011, 윌콕슨 p=0.006). 유지 비율로 환산하면 62.9% → 84.1%이다. 또한 튜닝된 가중치 감쇠를 10개 시드 모두에서(p=0.002), 튜닝된 EWC를 10개 중 8개 시드에서(p=0.014) 능가했으며, 모든 실험군은 동일한 세션에서 재측정되었다. **메커니즘: 주장이 아닌 측정.** Omega-S는 구성상 위상적(topological)이며 그 목적 함수는 Tr(A^3)에서 구축된다. 그러나 우리는 네 가지 요인 중 실제로 변화하는 요인을 측정했고, 그중 세 가지는 움직이지 않는다는 것을 발견했다. 가중치에 대한 이들의 탄력성은 1e-4 이하인 반면, 차수 분산(degree-variance) 항은 9e-3이다. 구현상 이 합성물은 노드 차수의 분산에 대한 패널티로 축소되며, 이는 정사각 모듈에서는 행 크기를 의미하고 비정사각 모듈에서는 방향 정렬을 의미한다. 이름이 약속하는 바와 그래디언트가 실제로 수행하는 바가 다른 방법은 이를 명시해야 하므로, 우리는 이 사실을 보고한다. 또한 대비 보존(contrast-preserving) 구성과 같은 공개된 설계 선택지를 열거하는데, 해당 구성은 설계된 대로 기능하면서도 10개 시드 모두에서 유지 성능을 악화시켰다. 동일한 구성, 동일한 시드, 동일한 하드웨어로 반복 실행하면 유지 비율의 표준편차는 0.104이다. 우리는 언어 모델의 저랭크 파인튜닝에서 이 값이 정량화된 사례를 찾지 못했으며, 이는 이 문헌에서 이루어지는 모든 시드 짝 비교(우리의 결과 포함)의 한계를 규정한다. 코드, 시드별 결과, 그리고 부정적 결과의 전체 기록을 확인할 수 있다.

English

Fine-tuning a large language model on new data degrades what it previously learned. We present Omega-S, a drop-in penalty computed from the weight matrix alone: it needs no previous-task data, no Fisher matrix and no stored copy of the old weights. It is three lines in an existing training loop and adds under 4% to the cost of a step. Retention. On Llama-3-8B with LoRA, fine-tuned from code to prose and measured by HumanEval over ten seeds, Omega-S retains more of the original capability than no regularisation on 9 of 10 seeds (0.173 -> 0.238 absolute pass@1; sign test one-sided p=0.011, Wilcoxon p=0.006), as a retention ratio, 62.9% -> 84.1%. It also beats tuned weight decay on 10 of 10 seeds (p=0.002) and tuned EWC on 8 of 10 (p=0.014), every arm re-measured in the same session. Mechanism, measured rather than asserted. Omega-S is topological by construction, its objective built from Tr(A^3), but we measured which of its four factors actually moves and three do not: their elasticity with respect to the weights is at or below 1e-4, against 9e-3 for the degree-variance term. As implemented, the composite reduces to a penalty on the variance of node degrees, which means row magnitude in square modules and directional alignment in non-square ones. We report this because a method whose name promises one thing and whose gradient does another should say so. We also enumerate the open design choices, including a contrast-preserving construction that does what it was designed to do and makes retention worse on all ten seeds. Repeating an identical configuration, same seed and same hardware, gives a standard deviation of 0.104 in retention ratio. We have not found this quantified for low-rank fine-tuning of language models, and it bounds every seed-paired comparison in this literature, ours included. Code, per-seed results and the full record of negative results are available.