EtCon: Bearbeiten-und-dann-Konsolidieren für zuverlässiges Wissens-Editieren
EtCon: Edit-then-Consolidate for Reliable Knowledge Editing
December 4, 2025
papers.authors: Ruilin Li, Yibin Wang, Wenhong Zhu, Chenglin Li, Jinghao Zhang, Chenliang Li, Junchi Yan, Jiaqi Wang
cs.AI
papers.abstract
Wissensbearbeitung zielt darauf ab, spezifische Fakten in großen Sprachmodellen (LLMs) zu aktualisieren, ohne ein vollständiges Neutraining durchzuführen. Bisherige Bestrebungen zielten darauf ab, die Wissensebenen von LLMs anzupassen, was sich als wirksam für selektive Bearbeitungen erwiesen hat. Allerdings besteht eine erhebliche Diskrepanz zwischen ihrer Leistung in kontrollierten Teacher-Forcing-Evaluierungen und ihrer tatsächlichen Wirksamkeit in Szenarien des lebenslangen Lernens, was ihre praktische Anwendbarkeit erheblich einschränkt. Die empirische Analyse dieser Arbeit deckt zwei wiederkehrende Probleme im Zusammenhang mit dieser Lücke auf: (1) Die meisten traditionellen Methoden führen dazu, dass das bearbeitete Modell an der neuen Tatsache überanpasst wird, wodurch vortrainierte Fähigkeiten beeinträchtigt werden; (2) Es fehlt kritischerweise eine Phase der Wissenskonsolidierung, sodass neue Fakten unzureichend in das Inferenzzeitverhalten von LLMs unter autoregressiver Generierung integriert werden, was zu einer Diskrepanz zwischen parametrischem Wissen und tatsächlichem Generierungsverhalten führt. Zu diesem Zweck schlagen wir Edit-then-Consolidate vor, ein neuartiges Paradigma zur Wissensbearbeitung, das die Lücke zwischen theoretischen Methoden zur Wissensbearbeitung und ihrer praktischen Anwendbarkeit überbrücken soll. Konkret (1) mildert unser Framework Überanpassung durch Targeted Proximal Supervised Fine-Tuning (TPSFT), das die Bearbeitung über ein Trust-Region-Ziel lokalisiert, um Policy-Drift zu begrenzen; (2) Anschließend richtet eine Konsolidierungsphase mittels Group Relative Policy Optimization (GRPO) das bearbeitete Wissen an der CoT-basierten Inferenz-Policy aus, indem verhaltensbezogene Trajektorien auf Ebene der Trajektorie unter umfassenden Belohnungssignalen optimiert werden. Umfangreiche Experimente belegen, dass unser Framework die Zuverlässigkeit und Generalisierbarkeit von Bearbeitungen unter realen Evaluierungsbedingungen konsistent verbessert und dabei gleichzeitig die Lokalität und vortrainierten Fähigkeiten besser erhält.
English
Knowledge editing aims to update specific facts in large language models (LLMs) without full retraining. Prior efforts sought to tune the knowledge layers of LLMs, proving effective for making selective edits. However, a significant gap exists between their performance in controlled, teacher-forcing evaluations and their real-world effectiveness in lifelong learning scenarios, which greatly limits their practical applicability. This work's empirical analysis reveals two recurring issues associated with this gap: (1) Most traditional methods lead the edited model to overfit to the new fact, thereby degrading pre-trained capabilities; (2) There is a critical absence of a knowledge consolidation stage, leaving new facts insufficiently integrated into LLMs' inference-time behavior under autoregressive generation, thereby leading to a mismatch between parametric knowledge and actual generation behavior. To this end, we propose Edit-then-Consolidate, a novel knowledge editing paradigm that aims to bridge the gap between theoretical knowledge editing methods and their real-world applicability. Specifically, (1) our framework mitigates overfitting via Targeted Proximal Supervised Fine-Tuning (TPSFT) that localizes the edit via a trust-region objective to limit policy drift; (2) Then, a consolidation stage using Group Relative Policy Optimization (GRPO) aligns the edited knowledge with CoT-based inference policy by optimizing trajectory-level behavior under comprehensive reward signals. Extensive experiments demonstrate our framework consistently improves editing reliability and generalization under real-world evaluations, while better preserving locality and pre-trained capabilities.