NanoKnow: Как узнать, что знает ваша языковая модель

NanoKnow: How to Know What Your Language Model Knows

February 23, 2026

Авторы: Lingwei Gu, Nour Jedidi, Jimmy Lin

cs.AI

Аннотация

Как большие языковые модели (LLM) узнают то, что они знают? Ответить на этот вопрос было сложно, поскольку данные предварительного обучения часто представляют собой «черный ящик» — неизвестны или недоступны. Недавний выпуск семейства небольших LLM nanochat с полностью открытыми данными предварительного обучения решает эту проблему, предоставляя прозрачное представление о том, откуда берется параметрическое знание модели. С целью понять, как знания кодируются в LLM, мы представляем NanoKnow — эталонный набор данных, который разделяет вопросы из Natural Questions и SQuAD на категории в зависимости от того, присутствуют ли их ответы в предварительно обучающем корпусе nanochat. Используя это разделение, мы теперь можем точно разграничить источники знаний, на которые полагаются LLM при генерации ответа. Чтобы продемонстрировать полезность NanoKnow, мы провели эксперименты с использованием восьми контрольных точек nanochat. Наши результаты показывают: (1) точность в закрытом режиме сильно зависит от частоты встречаемости ответа в данных предварительного обучения, (2) предоставление внешних доказательств может смягчить эту зависимость от частоты, (3) даже при наличии внешних доказательств модели точнее, когда ответы были увидены во время предварительного обучения, что демонстрирует комплементарность параметрических и внешних знаний, и (4) нерелевантная информация вредна, причем точность снижается в зависимости как от позиции, так и от количества нерелевантных контекстов. Мы публикуем все материалы NanoKnow по адресу https://github.com/castorini/NanoKnow.

English

How do large language models (LLMs) know what they know? Answering this question has been difficult because pre-training data is often a "black box" -- unknown or inaccessible. The recent release of nanochat -- a family of small LLMs with fully open pre-training data -- addresses this as it provides a transparent view into where a model's parametric knowledge comes from. Towards the goal of understanding how knowledge is encoded by LLMs, we release NanoKnow, a benchmark dataset that partitions questions from Natural Questions and SQuAD into splits based on whether their answers are present in nanochat's pre-training corpus. Using these splits, we can now properly disentangle the sources of knowledge that LLMs rely on when producing an output. To demonstrate NanoKnow's utility, we conduct experiments using eight nanochat checkpoints. Our findings show: (1) closed-book accuracy is strongly influenced by answer frequency in the pre-training data, (2) providing external evidence can mitigate this frequency dependence, (3) even with external evidence, models are more accurate when answers were seen during pre-training, demonstrating that parametric and external knowledge are complementary, and (4) non-relevant information is harmful, with accuracy decreasing based on both the position and the number of non-relevant contexts. We release all NanoKnow artifacts at https://github.com/castorini/NanoKnow.