ランク2部分空間の分離による多段階知識相互作用分析

Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement

November 3, 2025

著者: Sekh Mainul Islam, Pepa Atanasova, Isabelle Augenstein

cs.AI

要旨

自然言語説明（NLE）は、大規模言語モデル（LLM）が外部の文脈知識（CK）とモデル重みに蓄積されたパラメトリック知識（PK）の両方を参照して意思決定を行うプロセスを記述する。NLEの根拠を評価する上で、これら二つの知識の相互作用の理解は重要であるが、未だ十分に研究されていない。従来研究は主に単一ステップの生成（通常は最終回答）のみを検討し、PKとCKの相互作用をランク1部分空間における二項選択としてのみモデル化してきた。これでは、補完的または支持的知識といったより豊富な相互作用形態が見落とされている。本研究では、PKとCKの寄与をより正確に分離する新規のランク2射影部分空間を提案し、これを初めて長いNLEシーケンスにわたる知識相互作用の多段階分析に応用する。4つのQAデータセットと3つのオープンウェイト指示チューニングLLMを用いた実験により、多様な知識相互作用はランク1部分空間では不十分に表現されるが、我々のランク2定式化で効果的に捕捉できることを示す。多段階分析から、虚構的なNLEはPK方向に強く整合し、文脈に忠実なNLEはPKとCKのバランスを取り、NLEに対する連鎖思考プロンプトはPK依存を減少させることで生成NLEをCK方向へシフトさせることを明らかにした。本研究成果は、より豊かなランク2部分空間による分離を通じて、LLMにおける多段階知識相互作用を系統的に研究する初の枠組みを提供する。コードとデータ：https://github.com/copenlu/pk-ck-knowledge-disentanglement

English

Natural Language Explanations (NLEs) describe how Large Language Models (LLMs) make decisions, drawing on both external Context Knowledge (CK) and Parametric Knowledge (PK) stored in model weights. Understanding their interaction is key to assessing the grounding of NLEs, yet it remains underexplored. Prior work has largely examined only single-step generation, typically the final answer, and has modelled PK and CK interaction only as a binary choice in a rank-1 subspace. This overlooks richer forms of interaction, such as complementary or supportive knowledge. We propose a novel rank-2 projection subspace that disentangles PK and CK contributions more accurately and use it for the first multi-step analysis of knowledge interactions across longer NLE sequences. Experiments on four QA datasets and three open-weight instruction-tuned LLMs show that diverse knowledge interactions are poorly represented in a rank-1 subspace but are effectively captured in our rank-2 formulation. Our multi-step analysis reveals that hallucinated NLEs align strongly with the PK direction, context-faithful ones balance PK and CK, and Chain-of-Thought prompting for NLEs shifts generated NLEs toward CK by reducing PK reliance. This work provides the first framework for systematic studies of multi-step knowledge interactions in LLMs through a richer rank-2 subspace disentanglement. Code and data: https://github.com/copenlu/pk-ck-knowledge-disentanglement.