Edición en Contexto: Aprendiendo Conocimiento a partir de Distribuciones Autoinducidas

In-Context Editing: Learning Knowledge from Self-Induced Distributions

June 17, 2024

Autores: Siyuan Qi, Bangcheng Yang, Kailin Jiang, Xiaobo Wang, Jiaqi Li, Yifan Zhong, Yaodong Yang, Zilong Zheng

cs.AI

Resumen

El paradigma existente de ajuste fino para modelos de lenguaje es frágil en escenarios de edición de conocimiento, donde el modelo debe incorporar nueva información sin un extenso reentrenamiento. Esta fragilidad a menudo resulta en sobreajuste, reducción del rendimiento y generación de lenguaje poco natural. Para abordar esto, proponemos Consistent In-Context Editing (ICE), un enfoque novedoso que aprovecha la capacidad de aprendizaje en contexto del modelo para ajustarse hacia una distribución contextual en lugar de un objetivo categórico. ICE introduce un marco de optimización sencillo que incluye tanto un objetivo como un procedimiento, mejorando la robustez y efectividad de los métodos de ajuste basados en gradientes. Ofrecemos análisis detallados de ICE en cuatro aspectos críticos de la edición de conocimiento: precisión, localidad, generalización y calidad lingüística, mostrando sus ventajas. Los resultados experimentales en cuatro conjuntos de datos confirman la efectividad de ICE y demuestran su potencial para la edición continua, asegurando que la información actualizada se incorpore mientras se preserva la integridad del modelo.

English

The existing fine-tuning paradigm for language models is brittle in knowledge editing scenarios, where the model must incorporate new information without extensive retraining. This brittleness often results in overfitting, reduced performance, and unnatural language generation. To address this, we propose Consistent In-Context Editing (ICE), a novel approach that leverages the model's in-context learning capability to tune toward a contextual distribution rather than a one-hot target. ICE introduces a straightforward optimization framework that includes both a target and a procedure, enhancing the robustness and effectiveness of gradient-based tuning methods. We provide analytical insights into ICE across four critical aspects of knowledge editing: accuracy, locality, generalization, and linguistic quality, showing its advantages. Experimental results across four datasets confirm the effectiveness of ICE and demonstrate its potential for continual editing, ensuring that updated information is incorporated while preserving the integrity of the model.