모델 편집에서 올바르게 수행하는 파인튜닝

초록

대규모 언어 모델을 적응시키기 위한 기초적인 방법인 파인튜닝은 오랫동안 모델 편집에 비효율적인 것으로 여겨져 왔습니다. 본 연구에서는 이러한 통념에 도전하며, 보고된 실패가 파인튜닝 자체의 본질적인 한계에서 비롯된 것이 아니라, 편집 작업의 순차적 특성에 파인튜닝을 적용하는 방식에서 비롯되었다고 주장합니다. 이는 각 샘플을 수렴할 때까지 최적화한 후 다음으로 넘어가는 단일 패스 깊이 우선 파이프라인 방식입니다. 직관적이긴 하지만, 이 깊이 우선 파이프라인과 샘플 단위 업데이트 방식은 각 편집을 과도하게 최적화하고 편집 간 간섭을 유발합니다. 우리의 통제된 실험 결과, 단순히 파인튜닝을 표준적인 폭 우선(즉, 에포크 기반) 파이프라인과 미니배치 최적화로 복원하는 것만으로도 모델 편집에서의 효과가 크게 향상됨을 확인했습니다. 또한, 편집에서의 파인튜닝은 기존 방법에서 상속된 최적이 아닌 튜닝 파라미터 위치로 인해 어려움을 겪습니다. 튜닝 위치에 대한 체계적인 분석을 통해, 우리는 복원된 파인튜닝 프레임워크를 기반으로 한 간단하면서도 효과적인 지역화 편집 방법인 LocFT-BF를 도출했습니다. 다양한 대규모 언어 모델과 데이터셋에 걸친 광범위한 실험 결과, LocFT-BF는 최신 기술을 큰 차이로 능가하는 성능을 보여주었습니다. 특히, 우리가 아는 한, 이 방법은 일반적인 능력을 희생하지 않고도 10만 개의 편집과 720억 파라미터 모델을 유지하는 최초의 방법으로, 이는 기존 관행을 10배 이상 뛰어넘는 성과입니다. 오랜 오해를 해소하고 원칙에 입각한 지역화 튜닝 전략을 도입함으로써, 우리는 파인튜닝을 과소평가된 기준에서 모델 편집을 위한 선도적인 방법으로 발전시켰으며, 향후 연구를 위한 견고한 기반을 마련했습니다.

English

Fine-tuning, a foundational method for adapting large language models, has long been considered ineffective for model editing. Here, we challenge this belief, arguing that the reported failure arises not from the inherent limitation of fine-tuning itself, but from adapting it to the sequential nature of the editing task, a single-pass depth-first pipeline that optimizes each sample to convergence before moving on. While intuitive, this depth-first pipeline coupled with sample-wise updating over-optimizes each edit and induces interference across edits. Our controlled experiments reveal that simply restoring fine-tuning to the standard breadth-first (i.e., epoch-based) pipeline with mini-batch optimization substantially improves its effectiveness for model editing. Moreover, fine-tuning in editing also suffers from suboptimal tuning parameter locations inherited from prior methods. Through systematic analysis of tuning locations, we derive LocFT-BF, a simple and effective localized editing method built on the restored fine-tuning framework. Extensive experiments across diverse LLMs and datasets demonstrate that LocFT-BF outperforms state-of-the-art methods by large margins. Notably, to our knowledge, it is the first to sustain 100K edits and 72B-parameter models,10 x beyond prior practice, without sacrificing general capabilities. By clarifying a long-standing misconception and introducing a principled localized tuning strategy, we advance fine-tuning from an underestimated baseline to a leading method for model editing, establishing a solid foundation for future research.

모델 편집에서 올바르게 수행하는 파인튜닝

Fine-tuning Done Right in Model Editing

초록

Support