BM25는 규모가 커질수록 우세하다: 검색 증강 생성 패러다임에 대한 확장 연구

초록

검색 증강 생성(RAG)은 어휘 기반 및 밀집 검색, 그래프 기반 인덱싱, 에이전트 기반 검색을 포괄하지만, 이러한 패러다임은 일반적으로 단일 코퍼스 규모에서 서로 다른 벤치마크로 평가되어 정확도-비용 확장성이 불분명하게 남아 있다. 이러한 간극을 메우기 위해, 우리는 질문과 관련 문서 및 적대적 문서의 고정된 기반층을 유지하면서 코퍼스 규모를 약 450배에 걸친 28개의 엄격히 중첩된 계층으로 변화시키는 통제 연구를 제시한다. 단일 리더 모델과 단일 평가 프로토콜 하에서, 우리는 공식 정확도, 구축 및 쿼리 토큰, 지연 시간을 측정한다. 결과는 무조건적인 승자가 아닌 규모 의존적 교차 현상을 보여준다. 파일 시스템 에이전트는 가장 작은 공유 계층에서 선두를 차지하지만, 기반층에서 순차적 탐색에 39배 더 많은 쿼리 토큰을 소비하며 검색 공간이 커질수록 효과성이 떨어진다. 약 1천만 코퍼스 토큰 시점에서 BM25가 이를 추월하여 더 큰 모든 공유 계층에서 선두를 유지하며, 전체 규모에서는 약 20포인트에 이르는 격차를 보인다. BM25는 또한 LLM 기반 구축 없이 파레토 경계의 저비용 끝단을 차지한다. 밀집 검색은 효율적이지만 정확도가 낮은 반면, 그래프 기반 RAG는 배포 규모에 도달하기 전에 구축 장벽에 직면하며, 그 확장 가능한 변형들도 공유 계층에서 BM25에 미치지 못한다. 전반적으로, 코퍼스의 성장은 점차 전역 후보 순위화에 유리하게 작용한다. 즉, 어휘 검색이 가장 강력한 확장 가능한 기본값이며, 에이전트 추론은 순위화된 발견을 대체하는 것이 아니라 그 이후에 수행될 때 가장 잘 작동한다.

English

Retrieval-augmented generation (RAG) spans lexical and dense retrieval, graph-based indexing, and agentic search, but these paradigms are usually evaluated on different benchmarks at one corpus size, leaving their accuracy-cost scaling unclear. To bridge this gap, we present a controlled study that varies corpus size along 28 strictly nested tiers spanning roughly 450-fold, while holding questions and a fixed bedrock of relevant and adversarial documents unchanged. Under one reader model and one judging protocol, we measure official accuracy, construction and query tokens, and latency. The results reveal a scale-dependent crossover rather than an unconditional winner. File-System Agent leads at the smallest shared tiers, but its sequential exploration costs 39 times more query tokens at the bedrock and becomes less effective as the search space grows. Around 10 million corpus tokens, BM25 overtakes it and leads at every larger shared tier, with a margin approaching 20 points at full scale. BM25 also anchors the low-cost end of the Pareto frontier without LLM-based construction. Dense retrieval remains efficient but less accurate, whereas graph-based RAG encounters construction walls before deployment scale and its scalable variants remain below BM25 at shared tiers. Overall, corpus growth increasingly favors global candidate ranking: lexical retrieval is the strongest scalable default, while agentic reasoning works best after ranked discovery rather than in place of it.