ACE: Edición de Conocimiento Controlada por Atribución para la Recuperación de Hechos de Múltiples Saltos

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) requieren una edición eficiente del conocimiento (KE, por sus siglas en inglés) para actualizar información factual, sin embargo, los métodos existentes muestran un deterioro significativo en la recuperación factual de múltiples saltos (multi-hop). Esta falla es particularmente aguda cuando las ediciones involucran sujetos intermedios implícitos dentro de las cadenas de razonamiento. Mediante un análisis causal, revelamos que esta limitación surge de una omisión en cómo el conocimiento encadenado se representa y utiliza dinámicamente a nivel neuronal. Descubrimos que, durante el razonamiento de múltiples saltos, los sujetos implícitos funcionan como neuronas de consulta (query neurons), que activan secuencialmente las neuronas de valor (value neurons) correspondientes a través de las capas del transformador para acumular información hacia la respuesta final, un aspecto dinámico que trabajos previos de KE han pasado por alto. Guiados por esta comprensión, proponemos ACE: Edición de Conocimiento Controlada por Atribución para la Recuperación Factual de Múltiples Saltos, un marco que aprovecha la atribución a nivel neuronal para identificar y editar estas rutas críticas de consulta-valor (Q-V). ACE ofrece una solución fundamentada mecánicamente para la KE de múltiples saltos, superando empíricamente a los métodos más avanzados en un 9.44% en GPT-J y un 37.46% en Qwen3-8B. Nuestro análisis revela además patrones de activación más detallados en Qwen3 y demuestra que la interpretabilidad semántica de las neuronas de valor está orquestada por la acumulación impulsada por consultas. Estos hallazgos establecen una nueva vía para avanzar en las capacidades de KE basada en la comprensión fundamentada de los mecanismos internos de razonamiento.

English

Large Language Models (LLMs) require efficient knowledge editing (KE) to update factual information, yet existing methods exhibit significant performance decay in multi-hop factual recall. This failure is particularly acute when edits involve intermediate implicit subjects within reasoning chains. Through causal analysis, we reveal that this limitation stems from an oversight of how chained knowledge is dynamically represented and utilized at the neuron level. We discover that during multi hop reasoning, implicit subjects function as query neurons, which sequentially activate corresponding value neurons across transformer layers to accumulate information toward the final answer, a dynamic prior KE work has overlooked. Guided by this insight, we propose ACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall, a framework that leverages neuron-level attribution to identify and edit these critical query-value (Q-V) pathways. ACE provides a mechanistically grounded solution for multi-hop KE, empirically outperforming state-of-the-art methods by 9.44% on GPT-J and 37.46% on Qwen3-8B. Our analysis further reveals more fine-grained activation patterns in Qwen3 and demonstrates that the semantic interpretability of value neurons is orchestrated by query-driven accumulation. These findings establish a new pathway for advancing KE capabilities based on the principled understanding of internal reasoning mechanisms.