QuCo-RAG: Количественная оценка неопределенности из предобучающего корпуса для динамического поисково-дополненного генеративного моделирования

QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation

December 22, 2025

Авторы: Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng

cs.AI

Аннотация

Динамическое поисково-дополненное генерирование адаптивно определяет, когда выполнять поиск в процессе генерации, чтобы снизить уровень галлюцинаций в больших языковых моделях. Однако существующие методы полагаются на внутренние сигналы модели (например, логиты, энтропию), которые в принципе ненадежны, поскольку LLM обычно плохо калиброваны и часто проявляют высокую уверенность в ошибочных результатах. Мы предлагаем QuCo-RAG, который переходит от субъективной уверенности к объективной статистике, вычисленной на данных предварительного обучения. Наш метод количественно оценивает неопределенность в два этапа: (1) до генерации мы идентифицируем редкие сущности, указывающие на пробелы в знаниях о длинном хвосте; (2) в процессе генерации мы проверяем совместную встречаемость сущностей в корпусе предварительного обучения, где нулевая совместная встречаемость часто сигнализирует о риске галлюцинации. Оба этапа используют Infini-gram для запросов с задержкой в миллисекунды по 4 триллионам токенов, инициируя поиск при высокой неопределенности. Эксперименты на бенчмарках многозвенного вопросно-ответного поиска показывают, что QuCo-RAG достигает прироста по точному совпадению (EM) на 5–12 пунктов по сравнению с передовыми базовыми методами с моделями OLMo-2 и эффективно переносится на модели с закрытыми данными предварительного обучения (Llama, Qwen, GPT), улучшая EM до 14 пунктов. Обобщение на биомедицинскую QA-область дополнительно подтверждает устойчивость нашей парадигмы. Эти результаты устанавливают верификацию на основе корпуса как принципиальную, практически модельно-независимую парадигму для динамического RAG. Наш код общедоступен по адресу https://github.com/ZhishanQ/QuCo-RAG.

English

Dynamic Retrieval-Augmented Generation adaptively determines when to retrieve during generation to mitigate hallucinations in large language models (LLMs). However, existing methods rely on model-internal signals (e.g., logits, entropy), which are fundamentally unreliable because LLMs are typically ill-calibrated and often exhibit high confidence in erroneous outputs. We propose QuCo-RAG, which shifts from subjective confidence to objective statistics computed from pre-training data. Our method quantifies uncertainty through two stages: (1) before generation, we identify low-frequency entities indicating long-tail knowledge gaps; (2) during generation, we verify entity co-occurrence in the pre-training corpus, where zero co-occurrence often signals hallucination risk. Both stages leverage Infini-gram for millisecond-latency queries over 4 trillion tokens, triggering retrieval when uncertainty is high. Experiments on multi-hop QA benchmarks show QuCo-RAG achieves EM gains of 5--12 points over state-of-the-art baselines with OLMo-2 models, and transfers effectively to models with undisclosed pre-training data (Llama, Qwen, GPT), improving EM by up to 14 points. Domain generalization on biomedical QA further validates the robustness of our paradigm. These results establish corpus-grounded verification as a principled, practically model-agnostic paradigm for dynamic RAG. Our code is publicly available at https://github.com/ZhishanQ/QuCo-RAG.