Точная настройка, выполненная правильно в редактировании моделей

Аннотация

Тонкая настройка (fine-tuning), фундаментальный метод адаптации больших языковых моделей, долгое время считалась неэффективной для редактирования моделей. В данной работе мы оспариваем это убеждение, утверждая, что заявленные неудачи связаны не с внутренними ограничениями самой тонкой настройки, а с её адаптацией к последовательной природе задачи редактирования, которая реализуется через однопроходный глубинный (depth-first) конвейер, оптимизирующий каждый образец до сходимости перед переходом к следующему. Хотя такой подход интуитивно понятен, этот глубинный конвейер в сочетании с пошаговым обновлением приводит к избыточной оптимизации каждого редактирования и вызывает взаимное влияние между правками. Наши контролируемые эксперименты показывают, что простое возвращение тонкой настройки к стандартному широтному (breadth-first, т.е. эпохальному) конвейеру с мини-батч оптимизацией существенно повышает её эффективность для редактирования моделей. Кроме того, тонкая настройка при редактировании также страдает от субоптимального выбора параметров настройки, унаследованного от предыдущих методов. Благодаря систематическому анализу мест настройки мы разработали LocFT-BF — простой и эффективный метод локализованного редактирования, основанный на восстановленной структуре тонкой настройки. Многочисленные эксперименты на различных языковых моделях и наборах данных демонстрируют, что LocFT-BF значительно превосходит современные методы. Примечательно, что, насколько нам известно, это первый метод, который поддерживает 100 тысяч правок и модели с 72 миллиардами параметров, что в 10 раз превышает предыдущие практики, без ущерба для общих возможностей. Развеяв давнее заблуждение и представив принципиальную стратегию локализованной настройки, мы превращаем тонкую настройку из недооцененного базового метода в ведущий подход для редактирования моделей, закладывая прочную основу для будущих исследований.

English

Fine-tuning, a foundational method for adapting large language models, has long been considered ineffective for model editing. Here, we challenge this belief, arguing that the reported failure arises not from the inherent limitation of fine-tuning itself, but from adapting it to the sequential nature of the editing task, a single-pass depth-first pipeline that optimizes each sample to convergence before moving on. While intuitive, this depth-first pipeline coupled with sample-wise updating over-optimizes each edit and induces interference across edits. Our controlled experiments reveal that simply restoring fine-tuning to the standard breadth-first (i.e., epoch-based) pipeline with mini-batch optimization substantially improves its effectiveness for model editing. Moreover, fine-tuning in editing also suffers from suboptimal tuning parameter locations inherited from prior methods. Through systematic analysis of tuning locations, we derive LocFT-BF, a simple and effective localized editing method built on the restored fine-tuning framework. Extensive experiments across diverse LLMs and datasets demonstrate that LocFT-BF outperforms state-of-the-art methods by large margins. Notably, to our knowledge, it is the first to sustain 100K edits and 72B-parameter models,10 x beyond prior practice, without sacrificing general capabilities. By clarifying a long-standing misconception and introducing a principled localized tuning strategy, we advance fine-tuning from an underestimated baseline to a leading method for model editing, establishing a solid foundation for future research.

Точная настройка, выполненная правильно в редактировании моделей

Fine-tuning Done Right in Model Editing

Аннотация

Support