大規模言語モデルの知識境界認識を内部表現の観点から多言語にわたって分析

Analyzing LLMs' Knowledge Boundary Cognition Across Languages Through the Lens of Internal Representations

April 18, 2025

著者: Chenghao Xiao, Hou Pong Chan, Hao Zhang, Mahani Aljunied, Lidong Bing, Noura Al Moubayed, Yu Rong

cs.AI

要旨

大規模言語モデル（LLM）の知識境界を理解することは、幻覚（hallucination）を防ぐ上で重要であるが、これまでのLLMの知識境界に関する研究は主に英語に焦点を当ててきた。本研究では、複数の言語における既知および未知の質問を処理する際の内部表現を探ることで、LLMが異なる言語間で知識境界をどのように認識するかを分析する初めての研究を提示する。我々の実証研究から、以下の3つの主要な知見が得られた：1）LLMの知識境界の認識は、異なる言語においても中間層から中上位層にエンコードされている。2）知識境界認識における言語間の差異は線形構造に従い、これに基づいて我々は訓練不要のアライメント手法を提案し、低リソース言語における幻覚リスクを低減するために、言語間で知識境界認識能力を効果的に転移させる。3）二言語間の質問ペア翻訳に対するファインチューニングは、LLMの言語間での知識境界認識をさらに向上させる。言語横断的な知識境界分析のための標準的なテストベッドが存在しないことを踏まえ、我々は3つの代表的な知識境界データタイプからなる多言語評価スイートを構築した。我々のコードとデータセットは、https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries で公開されている。

English

While understanding the knowledge boundaries of LLMs is crucial to prevent hallucination, research on knowledge boundaries of LLMs has predominantly focused on English. In this work, we present the first study to analyze how LLMs recognize knowledge boundaries across different languages by probing their internal representations when processing known and unknown questions in multiple languages. Our empirical studies reveal three key findings: 1) LLMs' perceptions of knowledge boundaries are encoded in the middle to middle-upper layers across different languages. 2) Language differences in knowledge boundary perception follow a linear structure, which motivates our proposal of a training-free alignment method that effectively transfers knowledge boundary perception ability across languages, thereby helping reduce hallucination risk in low-resource languages; 3) Fine-tuning on bilingual question pair translation further enhances LLMs' recognition of knowledge boundaries across languages. Given the absence of standard testbeds for cross-lingual knowledge boundary analysis, we construct a multilingual evaluation suite comprising three representative types of knowledge boundary data. Our code and datasets are publicly available at https://github.com/DAMO-NLP-SG/LLM-Multilingual-Knowledge-Boundaries.