BM25は大規模で勝利する：検索拡張生成パラダイムのスケーリング研究

要旨

検索拡張生成（RAG）は、語彙検索、密検索、グラフベースのインデキシング、エージェント型検索にまで及ぶが、これらのパラダイムは通常、単一のコーパス規模で異なるベンチマークを用いて評価されており、精度とコストのスケーリング特性は不明確なままである。このギャップを埋めるため、我々は統制比較実験を実施した。本実験では、質問セットと、関連文書および敵対的文書からなる固定の基盤文書群を不変に保ったまま、コーパス規模を約450倍に及ぶ28段階の厳密に入れ子構造の階層で変化させた。単一のリーダーモデルと単一の判定プロトコルの下で、公式精度、構築時およびクエリ時のトークン数、レイテンシを測定した。その結果、あらゆる条件下で最良となる手法は存在せず、規模に依存した順位の逆転が明らかになった。ファイルシステムエージェントは最小の共有階層で首位に立つが、その逐次探索は基盤セットにおいて39倍のクエリトークンを消費し、探索空間が拡大するにつれて効果が低下する。コーパス規模が約1000万トークンに達するとBM25がこれを逆転し、それ以降のより大きなすべての共有階層で首位となり、フルスケールでは20ポイントに迫る差を付ける。さらにBM25は、LLMを用いた構築を伴わずにパレートフロンティアの低コスト側の端点を形成する。密検索は効率的ではあるものの精度は低く、一方、グラフベースのRAGは実運用規模に達する前に構築の壁に直面し、そのスケーラブルな派生手法も共有階層においてBM25を下回る。総じて、コーパスの拡大はグローバルな候補ランキングをますます有利にする。すなわち、語彙検索が最も強力なスケーラブルな既定手法であり、エージェント型推論はランキングによる候補発見の代替としてではなく、その後に適用することで最も高い効果を発揮する。

English

Retrieval-augmented generation (RAG) spans lexical and dense retrieval, graph-based indexing, and agentic search, but these paradigms are usually evaluated on different benchmarks at one corpus size, leaving their accuracy-cost scaling unclear. To bridge this gap, we present a controlled study that varies corpus size along 28 strictly nested tiers spanning roughly 450-fold, while holding questions and a fixed bedrock of relevant and adversarial documents unchanged. Under one reader model and one judging protocol, we measure official accuracy, construction and query tokens, and latency. The results reveal a scale-dependent crossover rather than an unconditional winner. File-System Agent leads at the smallest shared tiers, but its sequential exploration costs 39 times more query tokens at the bedrock and becomes less effective as the search space grows. Around 10 million corpus tokens, BM25 overtakes it and leads at every larger shared tier, with a margin approaching 20 points at full scale. BM25 also anchors the low-cost end of the Pareto frontier without LLM-based construction. Dense retrieval remains efficient but less accurate, whereas graph-based RAG encounters construction walls before deployment scale and its scalable variants remain below BM25 at shared tiers. Overall, corpus growth increasingly favors global candidate ranking: lexical retrieval is the strongest scalable default, while agentic reasoning works best after ranked discovery rather than in place of it.