Análisis de Interacción de Conocimiento Multi-Etapa mediante Desentrelazamiento de Subespacios de Rango 2

Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement

November 3, 2025

Autores: Sekh Mainul Islam, Pepa Atanasova, Isabelle Augenstein

cs.AI

Resumen

Las Explicaciones en Lenguaje Natural (NLEs) describen cómo los Modelos de Lenguaje Grandes (LLMs) toman decisiones, basándose tanto en el Conocimiento Contextual (CK) externo como en el Conocimiento Paramétrico (PK) almacenado en los pesos del modelo. Comprender su interacción es clave para evaluar el fundamento de las NLEs, sin embargo, esta sigue estando poco explorada. Trabajos anteriores han examinado principalmente solo la generación de un solo paso, típicamente la respuesta final, y han modelado la interacción entre PK y CK únicamente como una elección binaria en un subespacio de rango 1. Esto pasa por alto formas más ricas de interacción, como el conocimiento complementario o de apoyo. Proponemos un novedoso subespacio de proyección de rango 2 que desentrelaza las contribuciones de PK y CK de manera más precisa y lo utilizamos para el primer análisis multi-paso de las interacciones de conocimiento a lo largo de secuencias de NLE más largas. Los experimentos en cuatro conjuntos de datos de preguntas y respuestas (QA) y tres LLMs de código abierto ajustados por instrucción muestran que las diversas interacciones de conocimiento están pobremente representadas en un subespacio de rango 1, pero son capturadas efectivamente en nuestra formulación de rango 2. Nuestro análisis multi-paso revela que las NLEs alucinadas se alinean fuertemente con la dirección del PK, las fieles al contexto equilibran PK y CK, y el prompting de Cadena de Pensamiento (Chain-of-Thought) para NLEs desplaza las NLEs generadas hacia el CK al reducir la dependencia del PK. Este trabajo proporciona el primer marco para estudios sistemáticos de interacciones de conocimiento multi-paso en LLMs a través de un desentrelazamiento más rico en un subespacio de rango 2. Código y datos: https://github.com/copenlu/pk-ck-knowledge-disentanglement.

English

Natural Language Explanations (NLEs) describe how Large Language Models (LLMs) make decisions, drawing on both external Context Knowledge (CK) and Parametric Knowledge (PK) stored in model weights. Understanding their interaction is key to assessing the grounding of NLEs, yet it remains underexplored. Prior work has largely examined only single-step generation, typically the final answer, and has modelled PK and CK interaction only as a binary choice in a rank-1 subspace. This overlooks richer forms of interaction, such as complementary or supportive knowledge. We propose a novel rank-2 projection subspace that disentangles PK and CK contributions more accurately and use it for the first multi-step analysis of knowledge interactions across longer NLE sequences. Experiments on four QA datasets and three open-weight instruction-tuned LLMs show that diverse knowledge interactions are poorly represented in a rank-1 subspace but are effectively captured in our rank-2 formulation. Our multi-step analysis reveals that hallucinated NLEs align strongly with the PK direction, context-faithful ones balance PK and CK, and Chain-of-Thought prompting for NLEs shifts generated NLEs toward CK by reducing PK reliance. This work provides the first framework for systematic studies of multi-step knowledge interactions in LLMs through a richer rank-2 subspace disentanglement. Code and data: https://github.com/copenlu/pk-ck-knowledge-disentanglement.