구성 가능한 비구조화 지식 편집을 위한 하이브리드 정책 자기 편집

초록

대규모 언어 모델(LLM)은 자연어 작업 전반에 걸쳐 놀라운 성능을 달성하지만, 정적 말뭉치로 학습되므로 급변하는 세계에서 그 지식은 빠르게 구식이 된다. 이는 관련 없는 다른 지식은 변경하지 않으면서 LLM의 특정 지식을 갱신하는 지식 편집(KE)의 동기를 부여한다. 최근 연구들은 구조화된 지식 트리플에서 비구조화 지식 편집(UKE)으로 이동하고 있으며, 여기서 편집은 여러 사실을 동시에 진술할 수 있는 자유 형식의 텍스트 구절이다. 그럼에도 불구하고 기존 편집기들은 그러한 구절을 주입하면서도 이를 활용하지 못한다. 편집된 모델은 구절을 회상할 수 있지만, 그 사실들에 대한 원자적 질문에 답하거나 다중 홉 추론으로 구성하지 못한다. 우리는 구성 가능성(composability)이라 부르는 이 결여된 속성이 고정된 구절을 유일한 학습 원천으로 수동적으로 의존하는 편집기들의 태도에서 비롯된다고 본다. 이에 대응하여, 우리는 편집을 외부 감독이 필요 없는 동일 모델의 특권적 맥락 내 상태로부터의 능동적 자기 증류로 재정의한다. 나아가 주입된 지식의 신규성으로 인해 사전 편집 모델 자체의 롤아웃이 이를 거의 포괄하지 못하며, 이는 순수 온-폴리시 증류의 효과를 제한한다는 점을 밝힌다. 이러한 격차를 해소하기 위해 우리는 HPSE를 제안한다. HPSE는 하이브리드 롤아웃을 구축하여 학생 모델 자신의 궤적에서 적용 범위가 실패하는 지점에 정확히 누락된 사실을 배치하고, 다른 곳에서는 온-폴리시를 유지한다. 우리는 순수 온-폴리시 증류 대비 HPSE의 이점을 이론적으로 분석하고, 다양한 시나리오에서 네 개의 LLM 백본과 두 개의 KE 편집기 전반에 걸친 플러그 앤 플레이 개선을 실증적으로 입증한다.

English

Large language models (LLMs) achieve remarkable performance across natural language tasks, yet they are trained on static corpora and their knowledge quickly becomes outdated in a fast-changing world. This motivates knowledge editing (KE), which updates specific knowledge in an LLM without changing unrelated others. Recent works move from structured knowledge triples toward unstructured KE (UKE), where the edit is a free-form passage that may state multiple facts at once. Nonetheless, existing editors inject such a passage yet fail to use it: the edited model can recall the passage, but can neither answer atomic questions about its facts nor compose them into multi-hop reasoning. We attribute this missing property, which we term composability, to editors' passive reliance on the fixed passage as the sole learning source. In response, we cast editing as a proactive self-distillation from a privileged in-context state of the same model, which requires no external supervision. We further reveal that due to the novelty of the injected knowledge, the pre-edited model's own rollouts rarely cover it, which limits the effectiveness of pure on-policy distillation. To close this gap, we propose HPSE, which builds a hybrid rollout that steps in to place missing facts onto the student's own trajectory precisely where its coverage fails, while staying on-policy elsewhere. We theoretically analyze HPSE's advantage over pure on-policy distillation, and empirically establish its plug-and-play improvements across four LLM backbones and two KE editors under various scenarios.