QuCo-RAG：動的検索拡張生成のための事前学習コーパスからの不確実性定量化
QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation
December 22, 2025
著者: Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng
cs.AI
要旨
動的検索拡張生成は、大規模言語モデル（LLM）における虚構（ハルシネーション）を軽減するため、生成過程で検索を実行するタイミングを適応的に決定する手法である。しかし、既存の手法はモデル内部の信号（ロジットやエントロピーなど）に依存しており、LLMは一般に較正が不十分で誤った出力に対しても高い確信度を示す傾向があるため、根本的に信頼性に欠ける。本研究では、主観的な確信度から、事前学習データに基づく客観的統計量へと転換するQuCo-RAGを提案する。本手法は2段階の不確実性定量化を行う：（1）生成前段階では、長尾知識の欠如を示す低頻度エンティティを特定し、（2）生成段階では、事前学習コーパスにおけるエンティティ共起を検証する。共起がゼロの場合、虚構リスクの兆候となる。両段階でInfini-gramを活用し、4兆トークンに対するミリ秒レイテンシでの検索を実現し、不確実性が高い場合に検索をトリガーする。マルチホップQAベンチマークでの実験では、QuCo-RAGがOLMo-2モデルを用いた最先端ベースラインより5～12ポイントのEMスコア向上を達成し、事前学習データが非公開のモデル（Llama、Qwen、GPT）に対しても最大14ポイントのEM改善効果を転移させることが示された。バイオメディカルQAにおけるドメイン一般化実験により、本パラダイムの頑健性がさらに検証された。これらの結果は、コーパスに根ざした検証が、動的RAGにおける原理的かつ実用的にモデル非依存なパラダイムであることを立証する。コードはhttps://github.com/ZhishanQ/QuCo-RAG で公開されている。
English
Dynamic Retrieval-Augmented Generation adaptively determines when to retrieve during generation to mitigate hallucinations in large language models (LLMs). However, existing methods rely on model-internal signals (e.g., logits, entropy), which are fundamentally unreliable because LLMs are typically ill-calibrated and often exhibit high confidence in erroneous outputs. We propose QuCo-RAG, which shifts from subjective confidence to objective statistics computed from pre-training data. Our method quantifies uncertainty through two stages: (1) before generation, we identify low-frequency entities indicating long-tail knowledge gaps; (2) during generation, we verify entity co-occurrence in the pre-training corpus, where zero co-occurrence often signals hallucination risk. Both stages leverage Infini-gram for millisecond-latency queries over 4 trillion tokens, triggering retrieval when uncertainty is high. Experiments on multi-hop QA benchmarks show QuCo-RAG achieves EM gains of 5--12 points over state-of-the-art baselines with OLMo-2 models, and transfers effectively to models with undisclosed pre-training data (Llama, Qwen, GPT), improving EM by up to 14 points. Domain generalization on biomedical QA further validates the robustness of our paradigm. These results establish corpus-grounded verification as a principled, practically model-agnostic paradigm for dynamic RAG. Our code is publicly available at https://github.com/ZhishanQ/QuCo-RAG.