REPAIR: Robuust Bewerken via Progressieve Adaptieve Interventie en Herintegratie
REPAIR: Robust Editing via Progressive Adaptive Intervention and Reintegration
October 2, 2025
Auteurs: Yisu Wang, Ming Wang, Haoyuan Song, Wenjie Huang, Chaozheng Wang, Yi Xie, Xuming Ran
cs.AI
Samenvatting
Post-training voor grote taalmodellen (LLMs) wordt beperkt door de hoge kosten van het verwerven van nieuwe kennis of het corrigeren van fouten en door de onbedoelde bijwerkingen die vaak ontstaan bij hertraining. Om deze problemen aan te pakken, introduceren we REPAIR (Robust Editing via Progressive Adaptive Intervention and Reintegration), een levenslang bewerkingsraamwerk dat is ontworpen om precieze en kosteneffectieve modelupdates te ondersteunen terwijl niet-doelgerichte kennis behouden blijft. REPAIR vermindert de instabiliteit en conflicten van grootschalige sequentiële bewerkingen door middel van een gesloten feedbacklus gekoppeld aan dynamisch geheugenbeheer. Bovendien adresseert REPAIR, door frequente kennisintegratie en het handhaven van sterke localiteitsbeveiligingen, effectief de tekortkomingen van traditionele distributie-agnostische benaderingen die vaak onbedoelde neveneffecten over het hoofd zien. Onze experimenten tonen aan dat REPAIR de bewerkingsnauwkeurigheid met 10%-30% verhoogt over meerdere modelfamilies en kennisvergeten aanzienlijk vermindert. Dit werk introduceert een robuust raamwerk voor het ontwikkelen van betrouwbare, schaalbare en voortdurend evoluerende LLMs.
English
Post-training for large language models (LLMs) is constrained by the high
cost of acquiring new knowledge or correcting errors and by the unintended side
effects that frequently arise from retraining. To address these issues, we
introduce REPAIR (Robust Editing via Progressive Adaptive Intervention and
Reintegration), a lifelong editing framework designed to support precise and
low-cost model updates while preserving non-target knowledge. REPAIR mitigates
the instability and conflicts of large-scale sequential edits through a
closed-loop feedback mechanism coupled with dynamic memory management.
Furthermore, by incorporating frequent knowledge fusion and enforcing strong
locality guards, REPAIR effectively addresses the shortcomings of traditional
distribution-agnostic approaches that often overlook unintended ripple effects.
Our experiments demonstrate that REPAIR boosts editing accuracy by 10%-30%
across multiple model families and significantly reduces knowledge forgetting.
This work introduces a robust framework for developing reliable, scalable, and
continually evolving LLMs.