NanoKnow: 언어 모델이 무엇을 아는지 어떻게 알 수 있을까

NanoKnow: How to Know What Your Language Model Knows

February 23, 2026

저자: Lingwei Gu, Nour Jedidi, Jimmy Lin

cs.AI

초록

대규모 언어 모델(LLM)은 자신이 아는 것을 어떻게 알게 될까요? 사전 학습 데이터가 종종 알려지지 않거나 접근 불가능한 '블랙박스' 상태이기 때문에 이 질문에 답하는 것은 어려운 과제였습니다. 최근 공개된 nanochat—완전히 공개된 사전 학습 데이터를 가진 소규모 LLM 패밀리—은 모델의 파라미터적 지식이 어디서 비롯되는지에 대한 투명한 시각을 제공함으로써 이 문제를 해결합니다. LLM이 지식을 어떻게 인코딩하는지 이해하는 목표를 위해, 우리는 Natural Questions와 SQuAD의 질문들을 nanochat의 사전 학습 코퍼스에 답변이 존재하는지 여부에 따라 분할한 벤치마크 데이터셋인 NanoKnow를 공개합니다. 이러한 분할을 통해 우리는 이제 LLM이 출력을 생성할 때 의존하는 지식의 원천을 명확히 구분할 수 있습니다. NanoKnow의 유용성을 입증하기 위해 우리는 8개의 nanochat 체크포인트를 사용하여 실험을 수행했습니다. 우리의 연구 결과는 다음과 같습니다: (1) 폐쇄형 책(closed-book) 정확도는 사전 학습 데이터 내 답변 빈도에 크게 영향을 받으며, (2) 외부 증거를 제공하면 이 빈도 의존성을 완화할 수 있고, (3) 외부 증거가 제공되더라도 사전 학습期间 답변을 본 경우 모델의 정확도가 더 높아 파라미터적 지식과 외부 지식이 상호 보완적임을 보여주며, (4) 관련 없는 정보는 해롭고, 정확도는 관련 없는 컨텍스트의 위치와 수에 따라 감소합니다. 우리는 모든 NanoKnow 아티팩트를 https://github.com/castorini/NanoKnow 에서 공개합니다.

English

How do large language models (LLMs) know what they know? Answering this question has been difficult because pre-training data is often a "black box" -- unknown or inaccessible. The recent release of nanochat -- a family of small LLMs with fully open pre-training data -- addresses this as it provides a transparent view into where a model's parametric knowledge comes from. Towards the goal of understanding how knowledge is encoded by LLMs, we release NanoKnow, a benchmark dataset that partitions questions from Natural Questions and SQuAD into splits based on whether their answers are present in nanochat's pre-training corpus. Using these splits, we can now properly disentangle the sources of knowledge that LLMs rely on when producing an output. To demonstrate NanoKnow's utility, we conduct experiments using eight nanochat checkpoints. Our findings show: (1) closed-book accuracy is strongly influenced by answer frequency in the pre-training data, (2) providing external evidence can mitigate this frequency dependence, (3) even with external evidence, models are more accurate when answers were seen during pre-training, demonstrating that parametric and external knowledge are complementary, and (4) non-relevant information is harmful, with accuracy decreasing based on both the position and the number of non-relevant contexts. We release all NanoKnow artifacts at https://github.com/castorini/NanoKnow.