NanoKnow: Hoe je weet wat je taalmodel weet
NanoKnow: How to Know What Your Language Model Knows
February 23, 2026
Auteurs: Lingwei Gu, Nour Jedidi, Jimmy Lin
cs.AI
Samenvatting
Hoe weten grote taalmodellen (LLM's) wat ze weten? Het beantwoorden van deze vraag is moeilijk gebleken omdat de pre-trainingsdata vaak een 'black box' is – onbekend of ontoegankelijk. De recente release van nanochat – een familie van kleine LLM's met volledig open pre-trainingsdata – lost dit op doordat het een transparant beeld geeft van waar de parametrische kennis van een model vandaan komt. Met het doel te begrijpen hoe kennis wordt gecodeerd door LLM's, brengen we NanoKnow uit, een benchmarkdataset die vragen van Natural Questions en SQuAD verdeelt in splits op basis van de vraag of hun antwoorden aanwezig zijn in de pre-trainingscorpus van nanochat. Door gebruik te maken van deze splits kunnen we nu correct de bronnen van kennis ontwarren waar LLM's op vertrouwen bij het produceren van een uitvoer. Om de bruikbaarheid van NanoKnow aan te tonen, voeren we experimenten uit met acht nanochat-checkpoints. Onze bevindingen tonen aan: (1) geslotenboeknauwkeurigheid wordt sterk beïnvloed door de antwoordfrequentie in de pre-trainingsdata, (2) het verstrekken van externe context kan deze frequentieafhankelijkheid mitigeren, (3) zelfs met externe context zijn modellen nauwkeuriger wanneer antwoorden tijdens de pre-training zijn gezien, wat aantoont dat parametrische en externe kennis complementair zijn, en (4) niet-relevante informatie is schadelijk, waarbij de nauwkeurigheid afneemt op basis van zowel de positie als het aantal niet-relevante contexten. We brengen alle NanoKnow-artefacten uit op https://github.com/castorini/NanoKnow.
English
How do large language models (LLMs) know what they know? Answering this question has been difficult because pre-training data is often a "black box" -- unknown or inaccessible. The recent release of nanochat -- a family of small LLMs with fully open pre-training data -- addresses this as it provides a transparent view into where a model's parametric knowledge comes from. Towards the goal of understanding how knowledge is encoded by LLMs, we release NanoKnow, a benchmark dataset that partitions questions from Natural Questions and SQuAD into splits based on whether their answers are present in nanochat's pre-training corpus. Using these splits, we can now properly disentangle the sources of knowledge that LLMs rely on when producing an output. To demonstrate NanoKnow's utility, we conduct experiments using eight nanochat checkpoints. Our findings show: (1) closed-book accuracy is strongly influenced by answer frequency in the pre-training data, (2) providing external evidence can mitigate this frequency dependence, (3) even with external evidence, models are more accurate when answers were seen during pre-training, demonstrating that parametric and external knowledge are complementary, and (4) non-relevant information is harmful, with accuracy decreasing based on both the position and the number of non-relevant contexts. We release all NanoKnow artifacts at https://github.com/castorini/NanoKnow.