Analyse de l'Interaction des Connaissances Multi-Étapes via le Démêlage de Sous-Espaces de Rang 2

Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement

November 3, 2025

papers.authors: Sekh Mainul Islam, Pepa Atanasova, Isabelle Augenstein

cs.AI

papers.abstract

Les explications en langage naturel (NLE) décrivent comment les grands modèles de langage (LLM) prennent des décisions, en s'appuyant à la fois sur des connaissances contextuelles externes (CK) et sur des connaissances paramétriques (PK) stockées dans les poids du modèle. Comprendre leur interaction est essentiel pour évaluer l'ancrage des NLE, mais cela reste peu exploré. Les travaux antérieurs ont largement examiné uniquement une génération en une seule étape, généralement la réponse finale, et ont modélisé l'interaction PK et CK uniquement comme un choix binaire dans un sous-espace de rang 1. Cela néglige des formes d'interaction plus riches, telles que des connaissances complémentaires ou de soutien. Nous proposons un nouveau sous-espace de projection de rang 2 qui dissocie plus précisément les contributions PK et CK et l'utilisons pour la première analyse multi-étapes des interactions de connaissances à travers des séquences NLE plus longues. Les expériences sur quatre ensembles de données de questions-réponses et trois LLM à réglage par instruction et à poids ouverts montrent que les interactions de connaissances diverses sont mal représentées dans un sous-espace de rang 1 mais sont efficacement capturées dans notre formulation de rang 2. Notre analyse multi-étapes révèle que les NLE hallucinés s'alignent fortement sur la direction PK, que les NLE fidèles au contexte équilibrent PK et CK, et que l'incitation en chaîne de pensée (Chain-of-Thought) pour les NLE déplace les NLE générés vers la CK en réduisant la dépendance à la PK. Ce travail fournit le premier cadre pour des études systématiques des interactions de connaissances multi-étapes dans les LLM grâce à une dissociation plus riche dans un sous-espace de rang 2. Code et données : https://github.com/copenlu/pk-ck-knowledge-disentanglement.

English

Natural Language Explanations (NLEs) describe how Large Language Models (LLMs) make decisions, drawing on both external Context Knowledge (CK) and Parametric Knowledge (PK) stored in model weights. Understanding their interaction is key to assessing the grounding of NLEs, yet it remains underexplored. Prior work has largely examined only single-step generation, typically the final answer, and has modelled PK and CK interaction only as a binary choice in a rank-1 subspace. This overlooks richer forms of interaction, such as complementary or supportive knowledge. We propose a novel rank-2 projection subspace that disentangles PK and CK contributions more accurately and use it for the first multi-step analysis of knowledge interactions across longer NLE sequences. Experiments on four QA datasets and three open-weight instruction-tuned LLMs show that diverse knowledge interactions are poorly represented in a rank-1 subspace but are effectively captured in our rank-2 formulation. Our multi-step analysis reveals that hallucinated NLEs align strongly with the PK direction, context-faithful ones balance PK and CK, and Chain-of-Thought prompting for NLEs shifts generated NLEs toward CK by reducing PK reliance. This work provides the first framework for systematic studies of multi-step knowledge interactions in LLMs through a richer rank-2 subspace disentanglement. Code and data: https://github.com/copenlu/pk-ck-knowledge-disentanglement.