NanoKnow: Como Saber o Que Seu Modelo de Linguagem Sabe

NanoKnow: How to Know What Your Language Model Knows

February 23, 2026

Autores: Lingwei Gu, Nour Jedidi, Jimmy Lin

cs.AI

Resumo

Como os grandes modelos de linguagem (LLMs) sabem o que sabem? Responder a esta pergunta tem sido difícil porque os dados de pré-treinamento são frequentemente uma "caixa preta" — desconhecidos ou inacessíveis. O recente lançamento do nanochat — uma família de pequenos LLMs com dados de pré-treinamento totalmente abertos — aborda esta questão, fornecendo uma visão transparente sobre a origem do conhecimento paramétrico de um modelo. Com o objetivo de entender como o conhecimento é codificado pelos LLMs, lançamos o NanoKnow, um conjunto de dados de referência que divide questões do Natural Questions e do SQuAD em subconjuntos com base na presença ou ausência das suas respostas no corpus de pré-treinamento do nanochat. Utilizando estas divisões, podemos agora distinguir adequadamente as fontes de conhecimento nas quais os LLMs se baseiam ao produzir uma saída. Para demonstrar a utilidade do NanoKnow, realizamos experiências utilizando oito *checkpoints* do nanochat. As nossas descobertas mostram: (1) a precisão em modo *closed-book* é fortemente influenciada pela frequência da resposta nos dados de pré-treinamento, (2) fornecer evidências externas pode mitigar esta dependência da frequência, (3) mesmo com evidências externas, os modelos são mais precisos quando as respostas foram vistas durante o pré-treinamento, demonstrando que o conhecimento paramétrico e externo são complementares, e (4) informações não relevantes são prejudiciais, com a precisão a diminuir com base tanto na posição como no número de contextos não relevantes. Disponibilizamos todos os artefactos do NanoKnow em https://github.com/castorini/NanoKnow.

English

How do large language models (LLMs) know what they know? Answering this question has been difficult because pre-training data is often a "black box" -- unknown or inaccessible. The recent release of nanochat -- a family of small LLMs with fully open pre-training data -- addresses this as it provides a transparent view into where a model's parametric knowledge comes from. Towards the goal of understanding how knowledge is encoded by LLMs, we release NanoKnow, a benchmark dataset that partitions questions from Natural Questions and SQuAD into splits based on whether their answers are present in nanochat's pre-training corpus. Using these splits, we can now properly disentangle the sources of knowledge that LLMs rely on when producing an output. To demonstrate NanoKnow's utility, we conduct experiments using eight nanochat checkpoints. Our findings show: (1) closed-book accuracy is strongly influenced by answer frequency in the pre-training data, (2) providing external evidence can mitigate this frequency dependence, (3) even with external evidence, models are more accurate when answers were seen during pre-training, demonstrating that parametric and external knowledge are complementary, and (4) non-relevant information is harmful, with accuracy decreasing based on both the position and the number of non-relevant contexts. We release all NanoKnow artifacts at https://github.com/castorini/NanoKnow.