Analisi dell'Interazione della Conoscenza Multi-Step tramite Disentanglement di Sottospazi di Rango 2

Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement

November 3, 2025

Autori: Sekh Mainul Islam, Pepa Atanasova, Isabelle Augenstein

cs.AI

Abstract

Le spiegazioni in linguaggio naturale (NLE) descrivono come i grandi modelli linguistici (LLM) prendono decisioni, attingendo sia dalla Conoscenza Contestuale (CK) esterna che dalla Conoscenza Parametrica (PK) memorizzata nei pesi del modello. Comprenderne l'interazione è fondamentale per valutare l'ancoraggio alla realtà delle NLE, eppure rimane un ambito poco esplorato. I lavori precedenti hanno principalmente esaminato solo la generazione a singolo passo, tipicamente la risposta finale, e hanno modellato l'interazione tra PK e CK solo come una scelta binaria in un sottospazio di rango-1. Ciò trascura forme di interazione più ricche, come la conoscenza complementare o di supporto. Proponiamo un nuovo sottospazio di proiezione di rango-2 che districa i contributi di PK e CK in modo più accurato e lo utilizziamo per la prima analisi multi-passo delle interazioni di conoscenza attraverso sequenze di NLE più lunghe. Esperimenti su quattro dataset di domande e risposte e tre LLM addestrati con istruzioni e a pesi aperti mostrano che le diverse interazioni di conoscenza sono scarsamente rappresentate in un sottospazio di rango-1, ma sono efficacemente catturate nella nostra formulazione di rango-2. La nostra analisi multi-passo rivela che le NLE allucinate si allineano fortemente con la direzione PK, quelle fedeli al contesto bilanciano PK e CK, e il prompting a Catena di Pensiero per le NLE sposta le NLE generate verso la CK riducendo la dipendenza dalla PK. Questo lavoro fornisce il primo quadro metodologico per studi sistematici delle interazioni di conoscenza multi-passo negli LLM attraverso un più ricco districamento in un sottospazio di rango-2. Codice e dati: https://github.com/copenlu/pk-ck-knowledge-disentanglement.

English

Natural Language Explanations (NLEs) describe how Large Language Models (LLMs) make decisions, drawing on both external Context Knowledge (CK) and Parametric Knowledge (PK) stored in model weights. Understanding their interaction is key to assessing the grounding of NLEs, yet it remains underexplored. Prior work has largely examined only single-step generation, typically the final answer, and has modelled PK and CK interaction only as a binary choice in a rank-1 subspace. This overlooks richer forms of interaction, such as complementary or supportive knowledge. We propose a novel rank-2 projection subspace that disentangles PK and CK contributions more accurately and use it for the first multi-step analysis of knowledge interactions across longer NLE sequences. Experiments on four QA datasets and three open-weight instruction-tuned LLMs show that diverse knowledge interactions are poorly represented in a rank-1 subspace but are effectively captured in our rank-2 formulation. Our multi-step analysis reveals that hallucinated NLEs align strongly with the PK direction, context-faithful ones balance PK and CK, and Chain-of-Thought prompting for NLEs shifts generated NLEs toward CK by reducing PK reliance. This work provides the first framework for systematic studies of multi-step knowledge interactions in LLMs through a richer rank-2 subspace disentanglement. Code and data: https://github.com/copenlu/pk-ck-knowledge-disentanglement.