ACE: マルチホップ事実想起のための属性制御型知識編集

要旨

大規模言語モデル（LLM）は事実情報を更新するために効率的な知識編集（KE）を必要としますが、既存の手法は多段階の事実想起において著しい性能低下を示します。この失敗は、推論チェーン内の中間的な暗黙的主語が編集に関与する場合に特に顕著です。因果分析を通じて、この制限は連鎖的な知識がニューロンレベルでどのように動的に表現され利用されるかを見落としていることに起因することを明らかにしました。多段階推論において、暗黙的主語はクエリニューロンとして機能し、対応するバリューニューロンをトランスフォーマー層間で順次活性化させ、最終的な答えに向けて情報を蓄積する動的なプロセスが、従来のKE研究では見過ごされていたことがわかりました。この洞察に基づき、我々はACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recallを提案します。これは、ニューロンレベルのアトリビューションを活用して、これらの重要なクエリ-バリュー（Q-V）経路を特定し編集するフレームワークです。ACEは、多段階KEに対する機構的に根拠のある解決策を提供し、GPT-Jでは9.44%、Qwen3-8Bでは37.46%の性能向上を実現し、最先端の手法を上回りました。さらに、Qwen3におけるより細かい活性化パターンを明らかにし、バリューニューロンの意味的解釈可能性がクエリ駆動型の蓄積によって調整されていることを示しました。これらの発見は、内部推論メカニズムの原理的理解に基づいてKE能力を進化させる新たな道筋を確立します。

English

Large Language Models (LLMs) require efficient knowledge editing (KE) to update factual information, yet existing methods exhibit significant performance decay in multi-hop factual recall. This failure is particularly acute when edits involve intermediate implicit subjects within reasoning chains. Through causal analysis, we reveal that this limitation stems from an oversight of how chained knowledge is dynamically represented and utilized at the neuron level. We discover that during multi hop reasoning, implicit subjects function as query neurons, which sequentially activate corresponding value neurons across transformer layers to accumulate information toward the final answer, a dynamic prior KE work has overlooked. Guided by this insight, we propose ACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall, a framework that leverages neuron-level attribution to identify and edit these critical query-value (Q-V) pathways. ACE provides a mechanistically grounded solution for multi-hop KE, empirically outperforming state-of-the-art methods by 9.44% on GPT-J and 37.46% on Qwen3-8B. Our analysis further reveals more fine-grained activation patterns in Qwen3 and demonstrates that the semantic interpretability of value neurons is orchestrated by query-driven accumulation. These findings establish a new pathway for advancing KE capabilities based on the principled understanding of internal reasoning mechanisms.