ネイティブ検索拡張推論によるコンテキスト忠実度の向上

要旨

大規模言語モデル（LLMs）は、提供された情報に基づいて質問に答える際に、文脈の忠実性に苦戦し、一貫しない回答を生成することが多い。既存のアプローチは、回答後に証拠を生成するための高価な教師ありファインチューニングに依存するか、与えられた文脈の活用を必ずしも改善しないウェブ検索を実行するようにモデルを訓練するものである。本研究では、CAREという新しいネイティブな検索拡張推論フレームワークを提案する。このフレームワークは、LLMsにモデル自身の検索能力を活用して、推論プロセス内で明示的に文脈内の証拠を統合することを教える。我々の手法は、限られたラベル付き証拠データを必要としながらも、推論チェーン内で戦略的に検索された文脈内トークンを通じて、検索精度と回答生成性能の両方を大幅に向上させる。複数の実世界および反事実的なQAベンチマークでの広範な実験により、我々のアプローチが教師ありファインチューニング、従来の検索拡張生成手法、および外部検索ソリューションを大幅に上回ることが実証された。この研究は、知識集約型タスクにおいてLLMsをより正確で信頼性が高く効率的にするための根本的な進展を示すものである。

English

Large language models (LLMs) often struggle with context fidelity, producing inconsistent answers when responding to questions based on provided information. Existing approaches either rely on expensive supervised fine-tuning to generate evidence post-answer or train models to perform web searches without necessarily improving utilization of the given context. We propose CARE, a novel native retrieval-augmented reasoning framework that teaches LLMs to explicitly integrate in-context evidence within their reasoning process with the model's own retrieval capabilities. Our method requires limited labeled evidence data while significantly enhancing both retrieval accuracy and answer generation performance through strategically retrieved in-context tokens in the reasoning chain. Extensive experiments on multiple real-world and counterfactual QA benchmarks demonstrate that our approach substantially outperforms supervised fine-tuning, traditional retrieval-augmented generation methods, and external retrieval solutions. This work represents a fundamental advancement in making LLMs more accurate, reliable, and efficient for knowledge-intensive tasks.

ネイティブ検索拡張推論によるコンテキスト忠実度の向上

Improving Context Fidelity via Native Retrieval-Augmented Reasoning

要旨

Support