ACE: Редактирование знаний с контролем атрибуции для многошагового воспроизведения фактов

Аннотация

Крупные языковые модели (LLM) требуют эффективного редактирования знаний (KE) для обновления фактической информации, однако существующие методы демонстрируют значительное ухудшение производительности при многошаговом воспроизведении фактов. Эта проблема особенно остро проявляется, когда редактирование затрагивает промежуточные неявные субъекты в цепочках рассуждений. С помощью причинного анализа мы выяснили, что это ограничение связано с упущением того, как связанные знания динамически представлены и используются на уровне нейронов. Мы обнаружили, что в процессе многошагового рассуждения неявные субъекты функционируют как запросные нейроны, которые последовательно активируют соответствующие нейроны значений (value neurons) в слоях трансформера, накапливая информацию для получения окончательного ответа. Этот динамический аспект ранее игнорировался в работах по KE. Руководствуясь этим пониманием, мы предлагаем ACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall — фреймворк, который использует атрибуцию на уровне нейронов для выявления и редактирования этих критически важных путей запрос-значение (Q-V). ACE предлагает механистически обоснованное решение для многошагового KE, превосходя современные методы на 9,44% для GPT-J и на 37,46% для Qwen3-8B. Наш анализ также выявляет более детализированные паттерны активации в Qwen3 и демонстрирует, что семантическая интерпретируемость нейронов значений управляется накоплением, инициируемым запросами. Эти результаты открывают новый путь для развития возможностей KE, основанный на принципиальном понимании внутренних механизмов рассуждения.

English

Large Language Models (LLMs) require efficient knowledge editing (KE) to update factual information, yet existing methods exhibit significant performance decay in multi-hop factual recall. This failure is particularly acute when edits involve intermediate implicit subjects within reasoning chains. Through causal analysis, we reveal that this limitation stems from an oversight of how chained knowledge is dynamically represented and utilized at the neuron level. We discover that during multi hop reasoning, implicit subjects function as query neurons, which sequentially activate corresponding value neurons across transformer layers to accumulate information toward the final answer, a dynamic prior KE work has overlooked. Guided by this insight, we propose ACE: Attribution-Controlled Knowledge Editing for Multi-hop Factual Recall, a framework that leverages neuron-level attribution to identify and edit these critical query-value (Q-V) pathways. ACE provides a mechanistically grounded solution for multi-hop KE, empirically outperforming state-of-the-art methods by 9.44% on GPT-J and 37.46% on Qwen3-8B. Our analysis further reveals more fine-grained activation patterns in Qwen3 and demonstrates that the semantic interpretability of value neurons is orchestrated by query-driven accumulation. These findings establish a new pathway for advancing KE capabilities based on the principled understanding of internal reasoning mechanisms.