REPAIR: Робастное редактирование через прогрессивное адаптивное вмешательство и реинтеграцию
REPAIR: Robust Editing via Progressive Adaptive Intervention and Reintegration
October 2, 2025
Авторы: Yisu Wang, Ming Wang, Haoyuan Song, Wenjie Huang, Chaozheng Wang, Yi Xie, Xuming Ran
cs.AI
Аннотация
Доработка крупных языковых моделей (LLM) после обучения ограничена высокой стоимостью приобретения новых знаний или исправления ошибок, а также непреднамеренными побочными эффектами, которые часто возникают при повторном обучении. Для решения этих проблем мы представляем REPAIR (Robust Editing via Progressive Adaptive Intervention and Reintegration) — фреймворк для постоянного редактирования, предназначенный для поддержки точных и недорогих обновлений модели с сохранением ненацеленных знаний. REPAIR смягчает нестабильность и конфликты крупномасштабных последовательных изменений с помощью механизма обратной связи в замкнутом цикле, дополненного динамическим управлением памятью. Кроме того, за счет включения частого слияния знаний и применения строгих локальных ограничений, REPAIR эффективно устраняет недостатки традиционных подходов, не учитывающих распределение, которые часто игнорируют непреднамеренные побочные эффекты. Наши эксперименты показывают, что REPAIR повышает точность редактирования на 10–30% для различных семейств моделей и значительно снижает забывание знаний. Эта работа представляет собой надежный фреймворк для разработки масштабируемых и постоянно развивающихся LLM.
English
Post-training for large language models (LLMs) is constrained by the high
cost of acquiring new knowledge or correcting errors and by the unintended side
effects that frequently arise from retraining. To address these issues, we
introduce REPAIR (Robust Editing via Progressive Adaptive Intervention and
Reintegration), a lifelong editing framework designed to support precise and
low-cost model updates while preserving non-target knowledge. REPAIR mitigates
the instability and conflicts of large-scale sequential edits through a
closed-loop feedback mechanism coupled with dynamic memory management.
Furthermore, by incorporating frequent knowledge fusion and enforcing strong
locality guards, REPAIR effectively addresses the shortcomings of traditional
distribution-agnostic approaches that often overlook unintended ripple effects.
Our experiments demonstrate that REPAIR boosts editing accuracy by 10%-30%
across multiple model families and significantly reduces knowledge forgetting.
This work introduces a robust framework for developing reliable, scalable, and
continually evolving LLMs.