Многошаговый анализ взаимодействия знаний с помощью разложения в ранг-2 подпространства

Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement

November 3, 2025

Авторы: Sekh Mainul Islam, Pepa Atanasova, Isabelle Augenstein

cs.AI

Аннотация

Естественно-языковые объяснения (ЕЯО) описывают, как большие языковые модели (БЯМ) принимают решения, опираясь как на внешние контекстуальные знания (ВКЗ), так и на параметрические знания (ПЗ), хранящиеся в весах модели. Понимание их взаимодействия является ключевым для оценки обоснованности ЕЯО, однако оно остается малоизученным. Предыдущие работы в основном исследовали лишь одношаговую генерацию, обычно конечного ответа, и моделировали взаимодействие ПЗ и ВКЗ лишь как бинарный выбор в ранговом-1 подпространстве. Это упускает из виду более богатые формы взаимодействия, такие как комплементарные или поддерживающие знания. Мы предлагаем новое ранговое-2 проекционное подпространство, которое более точно разделяет вклады ПЗ и ВКЗ, и используем его для первого многошагового анализа взаимодействий знаний в более длинных последовательностях ЕЯО. Эксперименты на четырех наборах данных вопросов-ответов и трех открытых инструктивно-обученных БЯМ показывают, что разнообразные взаимодействия знаний плохо представлены в ранговом-1 подпространстве, но эффективно захватываются в нашей ранговой-2 формулировке. Наш многошаговый анализ показывает, что галлюцинированные ЕЯО сильно выровнены по направлению ПЗ, контекстуально-достоверные ЕЯО балансируют между ПЗ и ВКЗ, а метод Chain-of-Thought для ЕЯО смещает генерируемые объяснения в сторону ВКЗ за счет снижения зависимости от ПЗ. Данная работа представляет первую основу для систематического изучения многошаговых взаимодействий знаний в БЯМ через более богатое разделение в ранговом-2 подпространстве. Код и данные: https://github.com/copenlu/pk-ck-knowledge-disentanglement.

English

Natural Language Explanations (NLEs) describe how Large Language Models (LLMs) make decisions, drawing on both external Context Knowledge (CK) and Parametric Knowledge (PK) stored in model weights. Understanding their interaction is key to assessing the grounding of NLEs, yet it remains underexplored. Prior work has largely examined only single-step generation, typically the final answer, and has modelled PK and CK interaction only as a binary choice in a rank-1 subspace. This overlooks richer forms of interaction, such as complementary or supportive knowledge. We propose a novel rank-2 projection subspace that disentangles PK and CK contributions more accurately and use it for the first multi-step analysis of knowledge interactions across longer NLE sequences. Experiments on four QA datasets and three open-weight instruction-tuned LLMs show that diverse knowledge interactions are poorly represented in a rank-1 subspace but are effectively captured in our rank-2 formulation. Our multi-step analysis reveals that hallucinated NLEs align strongly with the PK direction, context-faithful ones balance PK and CK, and Chain-of-Thought prompting for NLEs shifts generated NLEs toward CK by reducing PK reliance. This work provides the first framework for systematic studies of multi-step knowledge interactions in LLMs through a richer rank-2 subspace disentanglement. Code and data: https://github.com/copenlu/pk-ck-knowledge-disentanglement.