Редактирование в контексте: изучение знаний из самоиндуцированных распределений

In-Context Editing: Learning Knowledge from Self-Induced Distributions

June 17, 2024

Авторы: Siyuan Qi, Bangcheng Yang, Kailin Jiang, Xiaobo Wang, Jiaqi Li, Yifan Zhong, Yaodong Yang, Zilong Zheng

cs.AI

Аннотация

Существующая парадигма донастройки языковых моделей является хрупкой в сценариях редактирования знаний, где модель должна интегрировать новую информацию без обширной переобучения. Эта хрупкость часто приводит к переобучению, снижению производительности и генерации ненатурального языка. Для решения этой проблемы мы предлагаем метод Consistent In-Context Editing (ICE), новый подход, который использует способность модели к обучению в контексте для настройки на контекстное распределение, а не на однозначную цель. ICE представляет собой простую оптимизационную структуру, которая включает как цель, так и процедуру, улучшая устойчивость и эффективность методов настройки на основе градиентов. Мы предоставляем аналитические исследования ICE по четырем критическим аспектам редактирования знаний: точность, локальность, обобщение и языковое качество, показывая его преимущества. Экспериментальные результаты на четырех наборах данных подтверждают эффективность ICE и демонстрируют его потенциал для непрерывного редактирования, обеспечивая интеграцию обновленной информации при сохранении целостности модели.

English

The existing fine-tuning paradigm for language models is brittle in knowledge editing scenarios, where the model must incorporate new information without extensive retraining. This brittleness often results in overfitting, reduced performance, and unnatural language generation. To address this, we propose Consistent In-Context Editing (ICE), a novel approach that leverages the model's in-context learning capability to tune toward a contextual distribution rather than a one-hot target. ICE introduces a straightforward optimization framework that includes both a target and a procedure, enhancing the robustness and effectiveness of gradient-based tuning methods. We provide analytical insights into ICE across four critical aspects of knowledge editing: accuracy, locality, generalization, and linguistic quality, showing its advantages. Experimental results across four datasets confirm the effectiveness of ICE and demonstrate its potential for continual editing, ensuring that updated information is incorporated while preserving the integrity of the model.