EtCon: Bewerken en daarna consolideren voor betrouwbare kenniseditatie
EtCon: Edit-then-Consolidate for Reliable Knowledge Editing
December 4, 2025
Auteurs: Ruilin Li, Yibin Wang, Wenhong Zhu, Chenglin Li, Jinghao Zhang, Chenliang Li, Junchi Yan, Jiaqi Wang
cs.AI
Samenvatting
Kenniseditatie heeft als doel specifieke feiten in grote taalmodelen (LLM's) bij te werken zonder volledige hertraining. Eerdere inspanningen richtten zich op het afstemmen van de kennislagen van LLM's, wat effectief bleek voor het maken van selectieve wijzigingen. Er bestaat echter een aanzienlijke kloof tussen hun prestaties in gecontroleerde, teacher-forcing evaluaties en hun effectiviteit in de praktijk bij levenslang leren-scenario's, wat hun praktische toepasbaarheid ernstig beperkt. De empirische analyse in dit werk onthult twee terugkerende problemen samenhangend met deze kloof: (1) De meeste traditionele methoden leiden ertoe dat het bewerkte model overfit raakt op het nieuwe feit, waardoor vooraf getrainde capaciteiten verslechteren; (2) Er ontbreekt een cruciaal stadium van kennisconsolidatie, waardoor nieuwe feiten onvoldoende worden geïntegreerd in het inferentiegedrag van LLM's onder autoregressieve generatie, wat leidt tot een mismatch tussen parametrische kennis en feitelijk generatiegedrag. Daarom stellen wij Edit-then-Consolidate voor, een nieuwe paradigma voor kenniseditatie dat de kloof tussen theoretische kenniseditatiemethoden en hun praktische toepasbaarheid wil overbruggen. Specifiek: (1) ons framework vermindert overfitting via Targeted Proximal Supervised Fine-Tuning (TPSFT), dat de edit lokaliseert via een trust-region doelstelling om policy drift te beperken; (2) Vervolgens aligneert een consolidatiestadium met Group Relative Policy Optimization (GRPO) de bewerkte kennis met het op Redenering-gebaseerde inferentiebeleid door trajectniveau-gedrag te optimaliseren onder uitgebreide beloningssignalen. Uitgebreide experimenten tonen aan dat ons framework consistent de betrouwbaarheid en generalisatie van edits onder real-world evaluaties verbetert, terwijl het de localiteit en vooraf getrainde capaciteiten beter behoudt.
English
Knowledge editing aims to update specific facts in large language models (LLMs) without full retraining. Prior efforts sought to tune the knowledge layers of LLMs, proving effective for making selective edits. However, a significant gap exists between their performance in controlled, teacher-forcing evaluations and their real-world effectiveness in lifelong learning scenarios, which greatly limits their practical applicability. This work's empirical analysis reveals two recurring issues associated with this gap: (1) Most traditional methods lead the edited model to overfit to the new fact, thereby degrading pre-trained capabilities; (2) There is a critical absence of a knowledge consolidation stage, leaving new facts insufficiently integrated into LLMs' inference-time behavior under autoregressive generation, thereby leading to a mismatch between parametric knowledge and actual generation behavior. To this end, we propose Edit-then-Consolidate, a novel knowledge editing paradigm that aims to bridge the gap between theoretical knowledge editing methods and their real-world applicability. Specifically, (1) our framework mitigates overfitting via Targeted Proximal Supervised Fine-Tuning (TPSFT) that localizes the edit via a trust-region objective to limit policy drift; (2) Then, a consolidation stage using Group Relative Policy Optimization (GRPO) aligns the edited knowledge with CoT-based inference policy by optimizing trajectory-level behavior under comprehensive reward signals. Extensive experiments demonstrate our framework consistently improves editing reliability and generalization under real-world evaluations, while better preserving locality and pre-trained capabilities.