Minder LLM, Meer Documenten: Op Zoek naar Verbeterde RAG

Less LLM, More Documents: Searching for Improved RAG

October 3, 2025

Auteurs: Jingjie Ning, Yibo Kong, Yunfan Long, Jamie Callan

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) combineert documentretrieval met grote taalmmodellen (LLM's). Hoewel het opschalen van generatoren de nauwkeurigheid verbetert, verhoogt het ook de kosten en beperkt het de inzetbaarheid. Wij onderzoeken een orthogonale as: het vergroten van het corpus van de retriever om de afhankelijkheid van grote LLM's te verminderen. Experimentele resultaten tonen aan dat het opschalen van het corpus RAG consistent versterkt en vaak kan dienen als een vervanging voor het vergroten van het model, hoewel met afnemende meeropbrengsten op grotere schaal. Kleine en middelgrote generatoren in combinatie met grotere corpora kunnen vaak concurreren met veel grotere modellen met kleinere corpora; middelgrote modellen profiteren doorgaans het meest, terwijl zeer kleine en grote modellen minder voordeel hebben. Onze analyse toont aan dat de verbeteringen voornamelijk voortkomen uit een grotere dekking van passages die antwoorden bevatten, terwijl de efficiëntie van het gebruik grotendeels onveranderd blijft. Deze bevindingen leggen een principiële afweging tussen corpus en generator vast: investeren in grotere corpora biedt een effectieve weg naar een sterkere RAG, vaak vergelijkbaar met het vergroten van het LLM zelf.

English

Retrieval-Augmented Generation (RAG) couples document retrieval with large language models (LLMs). While scaling generators improves accuracy, it also raises cost and limits deployability. We explore an orthogonal axis: enlarging the retriever's corpus to reduce reliance on large LLMs. Experimental results show that corpus scaling consistently strengthens RAG and can often serve as a substitute for increasing model size, though with diminishing returns at larger scales. Small- and mid-sized generators paired with larger corpora often rival much larger models with smaller corpora; mid-sized models tend to gain the most, while tiny and large models benefit less. Our analysis shows that improvements arise primarily from increased coverage of answer-bearing passages, while utilization efficiency remains largely unchanged. These findings establish a principled corpus-generator trade-off: investing in larger corpora offers an effective path to stronger RAG, often comparable to enlarging the LLM itself.