Moins de LLM, plus de documents : À la recherche d'une amélioration du RAG

Less LLM, More Documents: Searching for Improved RAG

October 3, 2025

papers.authors: Jingjie Ning, Yibo Kong, Yunfan Long, Jamie Callan

cs.AI

papers.abstract

La Génération Augmentée par Récupération (Retrieval-Augmented Generation, RAG) associe la récupération de documents aux modèles de langage de grande taille (LLMs). Bien que l'augmentation de la taille des générateurs améliore la précision, elle entraîne également une hausse des coûts et limite la déployabilité. Nous explorons un axe orthogonal : l'élargissement du corpus du récupérateur pour réduire la dépendance aux grands LLMs. Les résultats expérimentaux montrent que l'augmentation du corpus renforce systématiquement RAG et peut souvent servir de substitut à l'augmentation de la taille du modèle, bien que les rendements diminuent à plus grande échelle. Les générateurs de petite et moyenne taille associés à des corpus plus vastes rivalisent souvent avec des modèles beaucoup plus grands utilisant des corpus plus restreints ; les modèles de taille moyenne tendent à en tirer le plus grand bénéfice, tandis que les modèles très petits ou très grands en profitent moins. Notre analyse révèle que les améliorations découlent principalement d'une couverture accrue des passages contenant des réponses, tandis que l'efficacité d'utilisation reste largement inchangée. Ces résultats établissent un compromis principe entre corpus et générateur : investir dans des corpus plus vastes offre une voie efficace pour renforcer RAG, souvent comparable à l'agrandissement du LLM lui-même.

English

Retrieval-Augmented Generation (RAG) couples document retrieval with large language models (LLMs). While scaling generators improves accuracy, it also raises cost and limits deployability. We explore an orthogonal axis: enlarging the retriever's corpus to reduce reliance on large LLMs. Experimental results show that corpus scaling consistently strengthens RAG and can often serve as a substitute for increasing model size, though with diminishing returns at larger scales. Small- and mid-sized generators paired with larger corpora often rival much larger models with smaller corpora; mid-sized models tend to gain the most, while tiny and large models benefit less. Our analysis shows that improvements arise primarily from increased coverage of answer-bearing passages, while utilization efficiency remains largely unchanged. These findings establish a principled corpus-generator trade-off: investing in larger corpora offers an effective path to stronger RAG, often comparable to enlarging the LLM itself.