構成可能な非構造化知識編集のためのハイブリッドポリシー自己編集

要旨

大規模言語モデル（LLM）は自然言語タスク全般において顕著な性能を達成するが、静的なコーパスで訓練されるため、急速に変化する世界ではその知識はすぐに陳腐化する。このことが、無関係な知識を変更せずにLLM内の特定の知識を更新する知識編集（KE）を動機づける。最近の研究は、構造化された知識トリプルから非構造化KE（UKE）へと移行しており、UKEでは、編集内容は複数の事実を一度に述べ得る自由形式の文章である。それにもかかわらず、既存の編集手法はそのような文章を注入するものの、それを活用できていない。編集されたモデルは文章を想起できるが、その事実に関する原子的な質問に答えたり、それらを組み合わせてマルチホップ推論を行ったりすることができない。我々は、この欠落した特性（これをコンポーザビリティと呼ぶ）は、編集手法が固定された文章を唯一の学習源として受動的に依存していることに起因すると考える。これに対応して、我々は編集を、外部からの監視を必要としない、同じモデルの特権的なインコンテキスト状態からの能動的な自己蒸留として捉え直す。さらに我々は、注入された知識の新規性のため、編集前モデル自身のロールアウトがその知識をほとんどカバーせず、純粋なオン方策蒸留の有効性を制限していることを明らかにする。このギャップを埋めるために、我々はHPSEを提案する。HPSEは、生徒自身の軌道においてカバレッジが失敗する箇所に欠落した事実を正確に配置するために介入し、それ以外の箇所ではオン方策を維持する、ハイブリッドロールアウトを構築する。我々は、純粋なオン方策蒸留に対するHPSEの優位性を理論的に分析し、4つのLLMバックボーンと2つのKE手法にわたる様々なシナリオにおいて、そのプラグアンドプレイ的な改善を実証的に確立する。

English

Large language models (LLMs) achieve remarkable performance across natural language tasks, yet they are trained on static corpora and their knowledge quickly becomes outdated in a fast-changing world. This motivates knowledge editing (KE), which updates specific knowledge in an LLM without changing unrelated others. Recent works move from structured knowledge triples toward unstructured KE (UKE), where the edit is a free-form passage that may state multiple facts at once. Nonetheless, existing editors inject such a passage yet fail to use it: the edited model can recall the passage, but can neither answer atomic questions about its facts nor compose them into multi-hop reasoning. We attribute this missing property, which we term composability, to editors' passive reliance on the fixed passage as the sole learning source. In response, we cast editing as a proactive self-distillation from a privileged in-context state of the same model, which requires no external supervision. We further reveal that due to the novelty of the injected knowledge, the pre-edited model's own rollouts rarely cover it, which limits the effectiveness of pure on-policy distillation. To close this gap, we propose HPSE, which builds a hybrid rollout that steps in to place missing facts onto the student's own trajectory precisely where its coverage fails, while staying on-policy elsewhere. We theoretically analyze HPSE's advantage over pure on-policy distillation, and empirically establish its plug-and-play improvements across four LLM backbones and two KE editors under various scenarios.