NanoKnow: 言語モデルの知識を把握する方法

NanoKnow: How to Know What Your Language Model Knows

February 23, 2026

著者: Lingwei Gu, Nour Jedidi, Jimmy Lin

cs.AI

要旨

大規模言語モデル（LLM）は、自身の知識をどのように認識しているのであろうか。この問いに答えることは、事前学習データがしばしば「ブラックボックス」（未知またはアクセス不能）であるため、困難であった。最近公開されたnanochat——完全にオープンな事前学習データを持つ小型LLMファミリー——は、モデルのパラメトリック知識の源泉を透明化するため、この問題に取り組んでいる。LLMによる知識符号化のメカニズム理解を目指し、我々はNanoKnowを公開する。これはNatural QuestionsとSQuADからの質問を、その回答がnanochatの事前学習コーパスに存在するか否かに基づいて分割したベンチマークデータセットである。これらの分割を用いることで、LLMが出力生成時に依存する知識源を適切に分離できるようになった。NanoKnowの有用性を示すため、8つのnanochatチェックポイントを用いた実験を実施した。結果は以下のことを示している：(1) クローズドブック精度は事前学習データ内の回答出現頻度に強く影響される、(2) 外部エビデンスの提供はこの頻度依存性を緩和し得る、(3) 外部エビデンスがあっても、回答が事前学習中に観測された場合の方が精度が高く、パラメトリック知識と外部知識が相補的であることを示唆する、(4) 無関係な情報は有害であり、精度は無関係な文脈の位置と数に応じて低下する。NanoKnow関連リソースは全てhttps://github.com/castorini/NanoKnow で公開している。

English

How do large language models (LLMs) know what they know? Answering this question has been difficult because pre-training data is often a "black box" -- unknown or inaccessible. The recent release of nanochat -- a family of small LLMs with fully open pre-training data -- addresses this as it provides a transparent view into where a model's parametric knowledge comes from. Towards the goal of understanding how knowledge is encoded by LLMs, we release NanoKnow, a benchmark dataset that partitions questions from Natural Questions and SQuAD into splits based on whether their answers are present in nanochat's pre-training corpus. Using these splits, we can now properly disentangle the sources of knowledge that LLMs rely on when producing an output. To demonstrate NanoKnow's utility, we conduct experiments using eight nanochat checkpoints. Our findings show: (1) closed-book accuracy is strongly influenced by answer frequency in the pre-training data, (2) providing external evidence can mitigate this frequency dependence, (3) even with external evidence, models are more accurate when answers were seen during pre-training, demonstrating that parametric and external knowledge are complementary, and (4) non-relevant information is harmful, with accuracy decreasing based on both the position and the number of non-relevant contexts. We release all NanoKnow artifacts at https://github.com/castorini/NanoKnow.