LLMに依存しない適応型RAG：質問自体が語ることを許す

LLM-Independent Adaptive RAG: Let the Question Speak for Itself

May 7, 2025

著者: Maria Marina, Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii

cs.AI

要旨

大規模言語モデル（LLM）は幻覚を起こしやすい傾向があり、検索拡張生成（RAG）はこれを緩和するが、高い計算コストを伴い、誤情報のリスクも伴う。適応的検索は必要な場合にのみ検索を行うことを目指すが、既存のアプローチはLLMベースの不確実性推定に依存しており、非効率で実用的ではない。本研究では、外部情報に基づいた軽量でLLMに依存しない適応的検索手法を提案する。27の特徴量を7つのグループに分類し、それらのハイブリッド組み合わせを調査した。6つのQAデータセットにおいて、これらの手法を評価し、QA性能と効率性を検証した。結果は、我々のアプローチが複雑なLLMベースの手法と同等の性能を維持しつつ、大幅な効率向上を達成することを示しており、適応的検索における外部情報の可能性を実証している。

English

Large Language Models~(LLMs) are prone to hallucinations, and Retrieval-Augmented Generation (RAG) helps mitigate this, but at a high computational cost while risking misinformation. Adaptive retrieval aims to retrieve only when necessary, but existing approaches rely on LLM-based uncertainty estimation, which remain inefficient and impractical. In this study, we introduce lightweight LLM-independent adaptive retrieval methods based on external information. We investigated 27 features, organized into 7 groups, and their hybrid combinations. We evaluated these methods on 6 QA datasets, assessing the QA performance and efficiency. The results show that our approach matches the performance of complex LLM-based methods while achieving significant efficiency gains, demonstrating the potential of external information for adaptive retrieval.