ACE: Attributionsgesteuerte Wissensbearbeitung für mehrstufiges faktisches Abrufen

papers.abstract

Große Sprachmodelle (LLMs) benötigen effiziente Wissensaktualisierung (Knowledge Editing, KE), um faktische Informationen zu aktualisieren. Bisherige Methoden zeigen jedoch einen erheblichen Leistungsabfall bei der mehrstufigen Faktenabfrage (Multi-hop Factual Recall). Dieses Versagen ist besonders ausgeprägt, wenn Aktualisierungen Zwischenobjekte in Schlussfolgerungsketten betreffen. Durch kausale Analysen zeigen wir, dass diese Einschränkung auf eine Vernachlässigung der dynamischen Repräsentation und Nutzung verketteten Wissens auf Neuronenebene zurückzuführen ist. Wir entdecken, dass während mehrstufiger Schlussfolgerungen implizite Objekte als Abfrage-Neuronen (Query Neurons) fungieren, die sequenziell entsprechende Wert-Neuronen (Value Neurons) über Transformer-Schichten aktivieren, um Informationen für die endgültige Antwort zu akkumulieren – ein dynamischer Prozess, der in früheren KE-Arbeiten übersehen wurde. Basierend auf dieser Erkenntnis schlagen wir ACE vor: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall, ein Framework, das neuronale Attributionsmethoden nutzt, um diese kritischen Abfrage-Wert-Pfade (Query-Value Pathways) zu identifizieren und zu aktualisieren. ACE bietet eine mechanistisch fundierte Lösung für mehrstufige KE und übertrifft experimentell die besten verfügbaren Methoden um 9,44 % bei GPT-J und 37,46 % bei Qwen3-8B. Unsere Analyse zeigt zudem feinere Aktivierungsmuster in Qwen3 und demonstriert, dass die semantische Interpretierbarkeit von Wert-Neuronen durch abfragegesteuerte Akkumulation orchestriert wird. Diese Erkenntnisse eröffnen einen neuen Weg zur Weiterentwicklung von KE-Fähigkeiten, basierend auf einem prinzipienbasierten Verständnis interner Schlussfolgerungsmechanismen.

English

Large Language Models (LLMs) require efficient knowledge editing (KE) to update factual information, yet existing methods exhibit significant performance decay in multi-hop factual recall. This failure is particularly acute when edits involve intermediate implicit subjects within reasoning chains. Through causal analysis, we reveal that this limitation stems from an oversight of how chained knowledge is dynamically represented and utilized at the neuron level. We discover that during multi hop reasoning, implicit subjects function as query neurons, which sequentially activate corresponding value neurons across transformer layers to accumulate information toward the final answer, a dynamic prior KE work has overlooked. Guided by this insight, we propose ACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall, a framework that leverages neuron-level attribution to identify and edit these critical query-value (Q-V) pathways. ACE provides a mechanistically grounded solution for multi-hop KE, empirically outperforming state-of-the-art methods by 9.44% on GPT-J and 37.46% on Qwen3-8B. Our analysis further reveals more fine-grained activation patterns in Qwen3 and demonstrates that the semantic interpretability of value neurons is orchestrated by query-driven accumulation. These findings establish a new pathway for advancing KE capabilities based on the principled understanding of internal reasoning mechanisms.