ACE: Attributie-Gestuurde Kennisbewerking voor Multi-hop Feitelijke Herinnering

Samenvatting

Grote Taalmodellen (LLMs) vereisen efficiënte kennisbewerking (KE) om feitelijke informatie bij te werken, maar bestaande methoden vertonen een aanzienlijke prestatievermindering bij het terugroepen van feiten over meerdere stappen. Dit falen is vooral acuut wanneer bewerkingen tussenliggende impliciete onderwerpen binnen redeneerketens betreffen. Door middel van causale analyse onthullen we dat deze beperking voortkomt uit een over het hoofd zien van hoe geketende kennis dynamisch wordt gerepresenteerd en benut op het niveau van neuronen. We ontdekken dat tijdens redenering over meerdere stappen impliciete onderwerpen functioneren als queryneuronen, die opeenvolgend corresponderende waardeneuronen activeren over transformerlagen om informatie te accumuleren richting het uiteindelijke antwoord, een dynamiek die eerdere KE-werkzaamheden over het hoofd hebben gezien. Geleid door dit inzicht stellen we ACE voor: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall, een raamwerk dat gebruikmaakt van neuroniveau-attributie om deze kritieke query-waarde (Q-V) paden te identificeren en te bewerken. ACE biedt een mechanistisch onderbouwde oplossing voor KE over meerdere stappen, en presteert empirisch beter dan state-of-the-art methoden met 9,44% op GPT-J en 37,46% op Qwen3-8B. Onze analyse onthult verder meer fijnmazige activatiepatronen in Qwen3 en toont aan dat de semantische interpreteerbaarheid van waardeneuronen wordt georkestreerd door query-gestuurde accumulatie. Deze bevindingen leggen een nieuw pad voor het bevorderen van KE-capaciteiten gebaseerd op het principiële begrip van interne redeneermechanismen.

English

Large Language Models (LLMs) require efficient knowledge editing (KE) to update factual information, yet existing methods exhibit significant performance decay in multi-hop factual recall. This failure is particularly acute when edits involve intermediate implicit subjects within reasoning chains. Through causal analysis, we reveal that this limitation stems from an oversight of how chained knowledge is dynamically represented and utilized at the neuron level. We discover that during multi hop reasoning, implicit subjects function as query neurons, which sequentially activate corresponding value neurons across transformer layers to accumulate information toward the final answer, a dynamic prior KE work has overlooked. Guided by this insight, we propose ACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall, a framework that leverages neuron-level attribution to identify and edit these critical query-value (Q-V) pathways. ACE provides a mechanistically grounded solution for multi-hop KE, empirically outperforming state-of-the-art methods by 9.44% on GPT-J and 37.46% on Qwen3-8B. Our analysis further reveals more fine-grained activation patterns in Qwen3 and demonstrates that the semantic interpretability of value neurons is orchestrated by query-driven accumulation. These findings establish a new pathway for advancing KE capabilities based on the principled understanding of internal reasoning mechanisms.