EtCon : Modifier-puis-Consolider pour une édition fiable des connaissances
EtCon: Edit-then-Consolidate for Reliable Knowledge Editing
December 4, 2025
papers.authors: Ruilin Li, Yibin Wang, Wenhong Zhu, Chenglin Li, Jinghao Zhang, Chenliang Li, Junchi Yan, Jiaqi Wang
cs.AI
papers.abstract
La modification des connaissances vise à mettre à jour des faits spécifiques dans les grands modèles de langage (LLM) sans nécessiter un réentraînement complet. Les travaux antérieurs ont cherché à ajuster les couches de connaissances des LLM, démontrant leur efficacité pour effectuer des modifications ciblées. Cependant, un écart significatif persiste entre leurs performances lors d'évaluations contrôlées en *teacher-forcing* et leur efficacité réelle dans des scénarios d'apprentissage continu, ce qui limite considérablement leur applicabilité pratique. Notre analyse empirique révèle deux problèmes récurrents liés à cet écart : (1) La plupart des méthodes traditionnelles amènent le modèle modifié à surajuster le nouveau fait, dégradant ainsi ses capacités pré-entraînées ; (2) Il y a une absence critique d’une phase de consolidation des connaissances, laissant les nouveaux faits insuffisamment intégrés dans le comportement des LLM lors de l'inférence en génération auto-régressive, conduisant ainsi à un décalage entre les connaissances paramétriques et le comportement génératif réel. Pour y remédier, nous proposons *Edit-then-Consolidate*, un nouveau paradigme de modification des connaissances visant à combler l'écart entre les méthodes théoriques de modification et leur applicabilité réelle. Plus précisément, (1) notre cadre atténue le surajustement via un *Fine-Tuning Supervisé Proximal Ciblé* (TPSFT) qui localise la modification via un objectif de région de confiance pour limiter la dérive de la politique ; (2) Ensuite, une phase de consolidation utilisant l'*Optimisation de Politique Relative par Groupe* (GRPO) aligne la connaissance modifiée avec la politique d'inférence basée sur le *CoT* en optimisant le comportement au niveau des trajectoires sous des signaux de récompense complets. Des expériences approfondies démontrent que notre cadre améliore constamment la fiabilité et la généralisation de la modification lors d'évaluations en conditions réelles, tout en préservant mieux la localité et les capacités pré-entraînées.
English
Knowledge editing aims to update specific facts in large language models (LLMs) without full retraining. Prior efforts sought to tune the knowledge layers of LLMs, proving effective for making selective edits. However, a significant gap exists between their performance in controlled, teacher-forcing evaluations and their real-world effectiveness in lifelong learning scenarios, which greatly limits their practical applicability. This work's empirical analysis reveals two recurring issues associated with this gap: (1) Most traditional methods lead the edited model to overfit to the new fact, thereby degrading pre-trained capabilities; (2) There is a critical absence of a knowledge consolidation stage, leaving new facts insufficiently integrated into LLMs' inference-time behavior under autoregressive generation, thereby leading to a mismatch between parametric knowledge and actual generation behavior. To this end, we propose Edit-then-Consolidate, a novel knowledge editing paradigm that aims to bridge the gap between theoretical knowledge editing methods and their real-world applicability. Specifically, (1) our framework mitigates overfitting via Targeted Proximal Supervised Fine-Tuning (TPSFT) that localizes the edit via a trust-region objective to limit policy drift; (2) Then, a consolidation stage using Group Relative Policy Optimization (GRPO) aligns the edited knowledge with CoT-based inference policy by optimizing trajectory-level behavior under comprehensive reward signals. Extensive experiments demonstrate our framework consistently improves editing reliability and generalization under real-world evaluations, while better preserving locality and pre-trained capabilities.