문맥 내 편집: 자기 유도 분포로부터 지식 학습하기

초록

기존 언어 모델의 미세 조정(fine-tuning) 패러다임은 지식 편집 시나리오에서 취약한 것으로 나타났습니다. 이 시나리오에서는 모델이 광범위한 재학습 없이 새로운 정보를 통합해야 합니다. 이러한 취약성은 종종 과적합, 성능 저하, 그리고 부자연스러운 언어 생성을 초래합니다. 이를 해결하기 위해, 우리는 Consistent In-Context Editing(ICE)라는 새로운 접근 방식을 제안합니다. ICE는 모델의 문맥 학습(in-context learning) 능력을 활용하여 원-핫(one-hot) 타겟이 아닌 문맥적 분포를 향해 조정합니다. ICE는 타겟과 절차를 모두 포함하는 간단한 최적화 프레임워크를 도입하여 그래디언트 기반 조정 방법의 견고성과 효과성을 향상시킵니다. 우리는 ICE의 장점을 보여주기 위해 정확도, 지역성, 일반화, 그리고 언어적 품질이라는 지식 편집의 네 가지 중요한 측면에 걸쳐 분석적 통찰을 제공합니다. 네 가지 데이터셋에 대한 실험 결과는 ICE의 효과성을 확인하고, 모델의 무결성을 유지하면서 업데이트된 정보를 통합하는 지속적 편집의 잠재력을 입증합니다.

English

The existing fine-tuning paradigm for language models is brittle in knowledge editing scenarios, where the model must incorporate new information without extensive retraining. This brittleness often results in overfitting, reduced performance, and unnatural language generation. To address this, we propose Consistent In-Context Editing (ICE), a novel approach that leverages the model's in-context learning capability to tune toward a contextual distribution rather than a one-hot target. ICE introduces a straightforward optimization framework that includes both a target and a procedure, enhancing the robustness and effectiveness of gradient-based tuning methods. We provide analytical insights into ICE across four critical aspects of knowledge editing: accuracy, locality, generalization, and linguistic quality, showing its advantages. Experimental results across four datasets confirm the effectiveness of ICE and demonstrate its potential for continual editing, ensuring that updated information is incorporated while preserving the integrity of the model.

문맥 내 편집: 자기 유도 분포로부터 지식 학습하기

In-Context Editing: Learning Knowledge from Self-Induced Distributions

초록

Support