순위-2 부분공간 분리를 통한 다단계 지식 상호작용 분석

초록

자연어 설명(NLEs)은 대규모 언어 모델(LLMs)이 외부 맥락 지식(CK)과 모델 가중치에 저장된 매개변수 지식(PK)을 모두 활용하여 의사결정을 내리는 방식을 설명합니다. 이들의 상호작용을 이해하는 것은 NLEs의 근거 평가에 핵심적이지만, 아직 충분히 연구되지 않았습니다. 기존 연구는 주로 단일 단계 생성(일반적으로 최종 답변)만을 검토했으며, PK와 CK의 상호작용을 1순위 부분공간 내에서 이분적 선택으로만 모델링했습니다. 이는 상호 보완적이거나 지원적인 지식과 같은 더 풍부한 형태의 상호작용을 간과합니다. 우리는 PK와 CK의 기여를 더 정확하게 분리하는 새로운 2순위 투영 부분공간을 제안하고, 이를 통해 더 긴 NLE 시퀀스에 걸친 지식 상호작용의 최초 다단계 분석을 수행합니다. 4개의 QA 데이터셋과 3개의 오픈 가중치 명령어 최적화 LLM을 대상으로 한 실험 결과, 다양한 지식 상호작용은 1순위 부분공간에서는 제대로 표현되지 않지만 우리의 2순위 형식에서는 효과적으로 포착됨을 확인했습니다. 우리의 다단계 분석은 환각된 NLEs가 PK 방향과 강하게 일치하고, 맥락에 충실한 NLEs는 PK와 CK를 균형 있게 활용하며, NLEs에 대한 사고 연쇄(Chain-of-Thought) 프롬프트는 PK 의존도를 줄여 생성된 NLEs를 CK 쪽으로 이동시킨다는 것을 보여줍니다. 본 연구는 더 풍부한 2순위 부분공간 분리를 통해 LLM의 다단계 지식 상호작용을 체계적으로 연구할 수 있는 최초의 프레임워크를 제공합니다. 코드 및 데이터: https://github.com/copenlu/pk-ck-knowledge-disentanglement.

English

Natural Language Explanations (NLEs) describe how Large Language Models (LLMs) make decisions, drawing on both external Context Knowledge (CK) and Parametric Knowledge (PK) stored in model weights. Understanding their interaction is key to assessing the grounding of NLEs, yet it remains underexplored. Prior work has largely examined only single-step generation, typically the final answer, and has modelled PK and CK interaction only as a binary choice in a rank-1 subspace. This overlooks richer forms of interaction, such as complementary or supportive knowledge. We propose a novel rank-2 projection subspace that disentangles PK and CK contributions more accurately and use it for the first multi-step analysis of knowledge interactions across longer NLE sequences. Experiments on four QA datasets and three open-weight instruction-tuned LLMs show that diverse knowledge interactions are poorly represented in a rank-1 subspace but are effectively captured in our rank-2 formulation. Our multi-step analysis reveals that hallucinated NLEs align strongly with the PK direction, context-faithful ones balance PK and CK, and Chain-of-Thought prompting for NLEs shifts generated NLEs toward CK by reducing PK reliance. This work provides the first framework for systematic studies of multi-step knowledge interactions in LLMs through a richer rank-2 subspace disentanglement. Code and data: https://github.com/copenlu/pk-ck-knowledge-disentanglement.

순위-2 부분공간 분리를 통한 다단계 지식 상호작용 분석

Multi-Step Knowledge Interaction Analysis via Rank-2 Subspace Disentanglement

초록

Support