REPAIR: Robustes Editieren durch progressive adaptive Intervention und Reintegration
REPAIR: Robust Editing via Progressive Adaptive Intervention and Reintegration
October 2, 2025
papers.authors: Yisu Wang, Ming Wang, Haoyuan Song, Wenjie Huang, Chaozheng Wang, Yi Xie, Xuming Ran
cs.AI
papers.abstract
Das Nachtraining großer Sprachmodelle (LLMs) wird durch die hohen Kosten der Wissensaneignung oder Fehlerkorrektur sowie durch die unbeabsichtigten Nebeneffekte, die häufig beim erneuten Training auftreten, eingeschränkt. Um diese Probleme zu adressieren, stellen wir REPAIR (Robust Editing via Progressive Adaptive Intervention and Reintegration) vor, ein lebenslanges Bearbeitungsframework, das präzise und kostengünstige Modellaktualisierungen unterstützt, während nicht-zielgerichtetes Wissen erhalten bleibt. REPAIR mildert die Instabilität und Konflikte groß angelegter sequenzieller Bearbeitungen durch einen geschlossenen Feedback-Mechanismus in Kombination mit dynamischem Speichermanagement. Darüber hinaus adressiert REPAIR durch die Integration häufiger Wissensfusion und die Durchsetzung starker Lokalitätsbeschränkungen effektiv die Schwächen traditioneller verteilungsagnostischer Ansätze, die oft unbeabsichtigte Auswirkungen übersehen. Unsere Experimente zeigen, dass REPAIR die Bearbeitungsgenauigkeit über mehrere Modellfamilien hinweg um 10 %–30 % steigert und das Vergessen von Wissen signifikant reduziert. Diese Arbeit führt ein robustes Framework für die Entwicklung zuverlässiger, skalierbarer und kontinuierlich weiterentwickelter LLMs ein.
English
Post-training for large language models (LLMs) is constrained by the high
cost of acquiring new knowledge or correcting errors and by the unintended side
effects that frequently arise from retraining. To address these issues, we
introduce REPAIR (Robust Editing via Progressive Adaptive Intervention and
Reintegration), a lifelong editing framework designed to support precise and
low-cost model updates while preserving non-target knowledge. REPAIR mitigates
the instability and conflicts of large-scale sequential edits through a
closed-loop feedback mechanism coupled with dynamic memory management.
Furthermore, by incorporating frequent knowledge fusion and enforcing strong
locality guards, REPAIR effectively addresses the shortcomings of traditional
distribution-agnostic approaches that often overlook unintended ripple effects.
Our experiments demonstrate that REPAIR boosts editing accuracy by 10%-30%
across multiple model families and significantly reduces knowledge forgetting.
This work introduces a robust framework for developing reliable, scalable, and
continually evolving LLMs.