EtCon: Editar y luego Consolidar para la Edición Fiable de Conocimientos
EtCon: Edit-then-Consolidate for Reliable Knowledge Editing
December 4, 2025
Autores: Ruilin Li, Yibin Wang, Wenhong Zhu, Chenglin Li, Jinghao Zhang, Chenliang Li, Junchi Yan, Jiaqi Wang
cs.AI
Resumen
La edición de conocimientos tiene como objetivo actualizar hechos específicos en los grandes modelos de lenguaje (LLM) sin necesidad de un reentrenamiento completo. Esfuerzos previos buscaron ajustar las capas de conocimiento de los LLM, demostrando ser efectivos para realizar ediciones selectivas. Sin embargo, existe una brecha significativa entre su rendimiento en evaluaciones controladas con forzamiento del profesor y su efectividad en escenarios reales de aprendizaje continuo, lo que limita enormemente su aplicabilidad práctica. El análisis empírico de este trabajo revela dos problemas recurrentes asociados con esta brecha: (1) La mayoría de los métodos tradicionales llevan al modelo editado a un sobreajuste del nuevo hecho, degradando así las capacidades preentrenadas; (2) Existe una ausencia crítica de una etapa de consolidación del conocimiento, lo que deja los nuevos hechos insuficientemente integrados en el comportamiento del LLM durante la inferencia bajo generación autoregresiva, conduciendo así a una desconexión entre el conocimiento paramétrico y el comportamiento de generación real. Para ello, proponemos Editar-y-Consolidar, un nuevo paradigma de edición de conocimientos que busca cerrar la brecha entre los métodos teóricos de edición y su aplicabilidad en el mundo real. Específicamente, (1) nuestro marco mitiga el sobreajuste mediante el Ajuste Fino Supervisado Proximal Dirigido (TPSFT), que localiza la edición mediante un objetivo de región de confianza para limitar la deriva de la política; (2) Luego, una etapa de consolidación que utiliza la Optimización de Política Relativa Grupal (GRPO) alinea el conocimiento editado con la política de inferencia basada en CoT, optimizando el comportamiento a nivel de trayectoria bajo señales de recompensa integrales. Experimentos exhaustivos demuestran que nuestro marco mejora consistentemente la fiabilidad y generalización de la edición en evaluaciones del mundo real, preservando mejor la localidad y las capacidades preentrenadas.
English
Knowledge editing aims to update specific facts in large language models (LLMs) without full retraining. Prior efforts sought to tune the knowledge layers of LLMs, proving effective for making selective edits. However, a significant gap exists between their performance in controlled, teacher-forcing evaluations and their real-world effectiveness in lifelong learning scenarios, which greatly limits their practical applicability. This work's empirical analysis reveals two recurring issues associated with this gap: (1) Most traditional methods lead the edited model to overfit to the new fact, thereby degrading pre-trained capabilities; (2) There is a critical absence of a knowledge consolidation stage, leaving new facts insufficiently integrated into LLMs' inference-time behavior under autoregressive generation, thereby leading to a mismatch between parametric knowledge and actual generation behavior. To this end, we propose Edit-then-Consolidate, a novel knowledge editing paradigm that aims to bridge the gap between theoretical knowledge editing methods and their real-world applicability. Specifically, (1) our framework mitigates overfitting via Targeted Proximal Supervised Fine-Tuning (TPSFT) that localizes the edit via a trust-region objective to limit policy drift; (2) Then, a consolidation stage using Group Relative Policy Optimization (GRPO) aligns the edited knowledge with CoT-based inference policy by optimizing trajectory-level behavior under comprehensive reward signals. Extensive experiments demonstrate our framework consistently improves editing reliability and generalization under real-world evaluations, while better preserving locality and pre-trained capabilities.