Análise de Interação de Conhecimento em Múltiplas Etapas via Desagregação de Subespaço de Posto 2

Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement

November 3, 2025

Autores: Sekh Mainul Islam, Pepa Atanasova, Isabelle Augenstein

cs.AI

Resumo

As Explicações em Linguagem Natural (NLEs) descrevem como os Modelos de Linguagem de Grande Porte (LLMs) tomam decisões, recorrendo tanto ao Conhecimento Contextual (CK) externo quanto ao Conhecimento Paramétrico (PK) armazenado nos pesos do modelo. Compreender a sua interação é fundamental para avaliar a fundamentação das NLEs, no entanto, este aspeto permanece pouco explorado. Trabalhos anteriores examinaram maioritariamente apenas a geração em etapa única, tipicamente a resposta final, e modelaram a interação entre PK e CK apenas como uma escolha binária num subespaço de posto 1. Esta abordagem ignora formas mais ricas de interação, como conhecimento complementar ou de suporte. Propomos um novo subespaço de projeção de posto 2 que separa as contribuições do PK e do CK de forma mais precisa e utilizamo-lo para a primeira análise multi-etapa das interações de conhecimento em sequências de NLEs mais longas. Experiências em quatro conjuntos de dados de Perguntas e Respostas (QA) e três LLMs sintonizados por instrução e de pesos abertos mostram que as diversas interações de conhecimento são mal representadas num subespaço de posto 1, mas são eficazmente capturadas na nossa formulação de posto 2. A nossa análise multi-etapa revela que as NLEs alucinadas alinham-se fortemente com a direção do PK, as NLEs fiéis ao contexto equilibram o PK e o CK, e a técnica de *Chain-of-Thought* para NLEs desloca as NLEs geradas em direção ao CK, reduzindo a dependência do PK. Este trabalho fornece o primeiro quadro para estudos sistemáticos das interações de conhecimento multi-etapa em LLMs através de uma separação mais rica num subespaço de posto 2. Código e dados: https://github.com/copenlu/pk-ck-knowledge-disentanglement.

English

Natural Language Explanations (NLEs) describe how Large Language Models (LLMs) make decisions, drawing on both external Context Knowledge (CK) and Parametric Knowledge (PK) stored in model weights. Understanding their interaction is key to assessing the grounding of NLEs, yet it remains underexplored. Prior work has largely examined only single-step generation, typically the final answer, and has modelled PK and CK interaction only as a binary choice in a rank-1 subspace. This overlooks richer forms of interaction, such as complementary or supportive knowledge. We propose a novel rank-2 projection subspace that disentangles PK and CK contributions more accurately and use it for the first multi-step analysis of knowledge interactions across longer NLE sequences. Experiments on four QA datasets and three open-weight instruction-tuned LLMs show that diverse knowledge interactions are poorly represented in a rank-1 subspace but are effectively captured in our rank-2 formulation. Our multi-step analysis reveals that hallucinated NLEs align strongly with the PK direction, context-faithful ones balance PK and CK, and Chain-of-Thought prompting for NLEs shifts generated NLEs toward CK by reducing PK reliance. This work provides the first framework for systematic studies of multi-step knowledge interactions in LLMs through a richer rank-2 subspace disentanglement. Code and data: https://github.com/copenlu/pk-ck-knowledge-disentanglement.