NanoKnow: Come Sapere Cosa Sa il Tuo Modello Linguistico

NanoKnow: How to Know What Your Language Model Knows

February 23, 2026

Autori: Lingwei Gu, Nour Jedidi, Jimmy Lin

cs.AI

Abstract

Come fanno i grandi modelli linguistici (LLM) a sapere ciò che sanno? Rispondere a questa domanda è stato difficile perché i dati di pre-addestramento sono spesso una "scatola nera" – sconosciuti o inaccessibili. Il recente rilascio di nanochat – una famiglia di piccoli LLM con dati di pre-addestramento completamente aperti – affronta questo problema poiché fornisce una visione trasparente sull'origine della conoscenza parametrica di un modello. Con l'obiettivo di comprendere come la conoscenza viene codificata dagli LLM, rilasciamo NanoKnow, un dataset di benchmark che suddivide le domande di Natural Questions e SQuAD in partizioni basate sulla presenza o assenza delle loro risposte nel corpus di pre-addestramento di nanochat. Utilizzando queste partizioni, possiamo ora correttamente distinguere le fonti di conoscenza su cui gli LLM fanno affidamento quando producono un output. Per dimostrare l'utilità di NanoKnow, conduciamo esperimenti utilizzando otto checkpoint di nanochat. I nostri risultati mostrano: (1) l'accuratezza in modalità closed-book è fortemente influenzata dalla frequenza della risposta nei dati di pre-addestramento, (2) fornire evidenze esterne può mitigare questa dipendenza dalla frequenza, (3) anche con evidenze esterne, i modelli sono più accurati quando le risposte sono state viste durante il pre-addestramento, dimostrando che la conoscenza parametrica e quella esterna sono complementari, e (4) le informazioni non rilevanti sono dannose, con un'accuratezza che diminuisce in base sia alla posizione che al numero di contesti non rilevanti. Rilasciamo tutti gli artefatti di NanoKnow all'indirizzo https://github.com/castorini/NanoKnow.

English

How do large language models (LLMs) know what they know? Answering this question has been difficult because pre-training data is often a "black box" -- unknown or inaccessible. The recent release of nanochat -- a family of small LLMs with fully open pre-training data -- addresses this as it provides a transparent view into where a model's parametric knowledge comes from. Towards the goal of understanding how knowledge is encoded by LLMs, we release NanoKnow, a benchmark dataset that partitions questions from Natural Questions and SQuAD into splits based on whether their answers are present in nanochat's pre-training corpus. Using these splits, we can now properly disentangle the sources of knowledge that LLMs rely on when producing an output. To demonstrate NanoKnow's utility, we conduct experiments using eight nanochat checkpoints. Our findings show: (1) closed-book accuracy is strongly influenced by answer frequency in the pre-training data, (2) providing external evidence can mitigate this frequency dependence, (3) even with external evidence, models are more accurate when answers were seen during pre-training, demonstrating that parametric and external knowledge are complementary, and (4) non-relevant information is harmful, with accuracy decreasing based on both the position and the number of non-relevant contexts. We release all NanoKnow artifacts at https://github.com/castorini/NanoKnow.