REPAIR : Édition robuste par intervention progressive adaptative et réintégration
REPAIR: Robust Editing via Progressive Adaptive Intervention and Reintegration
October 2, 2025
papers.authors: Yisu Wang, Ming Wang, Haoyuan Song, Wenjie Huang, Chaozheng Wang, Yi Xie, Xuming Ran
cs.AI
papers.abstract
Le post-entraînement des grands modèles de langage (LLM) est limité par le coût élevé de l'acquisition de nouvelles connaissances ou de la correction d'erreurs, ainsi que par les effets secondaires imprévus qui surviennent fréquemment lors du réentraînement. Pour résoudre ces problèmes, nous présentons REPAIR (Robust Editing via Progressive Adaptive Intervention and Reintegration), un cadre d'édition continue conçu pour permettre des mises à jour précises et peu coûteuses des modèles tout en préservant les connaissances non ciblées. REPAIR atténue l'instabilité et les conflits liés aux modifications séquentielles à grande échelle grâce à un mécanisme de rétroaction en boucle fermée couplé à une gestion dynamique de la mémoire. De plus, en intégrant une fusion fréquente des connaissances et en appliquant des gardes de localité robustes, REPAIR corrige efficacement les lacunes des approches traditionnelles agnostiques à la distribution, qui négligent souvent les effets d'entraînement involontaires. Nos expériences montrent que REPAIR améliore la précision des modifications de 10 % à 30 % sur plusieurs familles de modèles et réduit significativement l'oubli des connaissances. Ce travail introduit un cadre robuste pour développer des LLM fiables, évolutifs et en constante évolution.
English
Post-training for large language models (LLMs) is constrained by the high
cost of acquiring new knowledge or correcting errors and by the unintended side
effects that frequently arise from retraining. To address these issues, we
introduce REPAIR (Robust Editing via Progressive Adaptive Intervention and
Reintegration), a lifelong editing framework designed to support precise and
low-cost model updates while preserving non-target knowledge. REPAIR mitigates
the instability and conflicts of large-scale sequential edits through a
closed-loop feedback mechanism coupled with dynamic memory management.
Furthermore, by incorporating frequent knowledge fusion and enforcing strong
locality guards, REPAIR effectively addresses the shortcomings of traditional
distribution-agnostic approaches that often overlook unintended ripple effects.
Our experiments demonstrate that REPAIR boosts editing accuracy by 10%-30%
across multiple model families and significantly reduces knowledge forgetting.
This work introduces a robust framework for developing reliable, scalable, and
continually evolving LLMs.