EtCon: Modifica e poi Consolida per un Editing della Conoscenza Affidabile
EtCon: Edit-then-Consolidate for Reliable Knowledge Editing
December 4, 2025
Autori: Ruilin Li, Yibin Wang, Wenhong Zhu, Chenglin Li, Jinghao Zhang, Chenliang Li, Junchi Yan, Jiaqi Wang
cs.AI
Abstract
La modifica della conoscenza mira ad aggiornare fatti specifici nei grandi modelli linguistici (LLM) senza un addestramento completo. I precedenti tentativi hanno cercato di ottimizzare gli strati di conoscenza degli LLM, dimostrandosi efficaci per apportare modifiche selettive. Tuttavia, esiste un divario significativo tra le loro prestazioni nelle valutazioni controllate con teacher forcing e la loro efficacia reale in scenari di apprendimento continuo, il che ne limita notevolmente l'applicabilità pratica. La nostra analisi empirica rivela due problemi ricorrenti associati a questo divario: (1) La maggior parte dei metodi tradizionali induce il modello modificato a un overfitting sul nuovo fatto, degradando così le capacità pre-addestrate; (2) Manca criticamente una fase di consolidamento della conoscenza, lasciando i nuovi fatti insufficientemente integrati nel comportamento inferenziale degli LLM durante la generazione autoregressiva, portando così a una discrepanza tra conoscenza parametrica e comportamento generativo effettivo. A tal fine, proponiamo Edit-then-Consolidate, un nuovo paradigma di modifica della conoscenza che mira a colmare il divario tra i metodi teorici di editing e la loro applicabilità nel mondo reale. Nello specifico, (1) la nostra architettura mitiga l'overfitting tramite Targeted Proximal Supervised Fine-Tuning (TPSFT), che localizza la modifica attraverso un obiettivo di trust region per limitare la deriva della politica; (2) Successivamente, una fase di consolidamento che utilizza Group Relative Policy Optimization (GRPO) allinea la conoscenza modificata con la politica inferenziale basata sul CoT, ottimizzando il comportamento a livello di traiettoria mediante segnali di reward completi. Esperimenti estensivi dimostrano che la nostra architettura migliora costantemente l'affidabilità e la generalizzazione della modifica nelle valutazioni reali, preservando meglio la località e le capacità pre-addestrate.
English
Knowledge editing aims to update specific facts in large language models (LLMs) without full retraining. Prior efforts sought to tune the knowledge layers of LLMs, proving effective for making selective edits. However, a significant gap exists between their performance in controlled, teacher-forcing evaluations and their real-world effectiveness in lifelong learning scenarios, which greatly limits their practical applicability. This work's empirical analysis reveals two recurring issues associated with this gap: (1) Most traditional methods lead the edited model to overfit to the new fact, thereby degrading pre-trained capabilities; (2) There is a critical absence of a knowledge consolidation stage, leaving new facts insufficiently integrated into LLMs' inference-time behavior under autoregressive generation, thereby leading to a mismatch between parametric knowledge and actual generation behavior. To this end, we propose Edit-then-Consolidate, a novel knowledge editing paradigm that aims to bridge the gap between theoretical knowledge editing methods and their real-world applicability. Specifically, (1) our framework mitigates overfitting via Targeted Proximal Supervised Fine-Tuning (TPSFT) that localizes the edit via a trust-region objective to limit policy drift; (2) Then, a consolidation stage using Group Relative Policy Optimization (GRPO) aligns the edited knowledge with CoT-based inference policy by optimizing trajectory-level behavior under comprehensive reward signals. Extensive experiments demonstrate our framework consistently improves editing reliability and generalization under real-world evaluations, while better preserving locality and pre-trained capabilities.