Meno LLM, Più Documenti: Alla Ricerca di un RAG Migliorato

Less LLM, More Documents: Searching for Improved RAG

October 3, 2025

Autori: Jingjie Ning, Yibo Kong, Yunfan Long, Jamie Callan

cs.AI

Abstract

La Generazione Aumentata con Recupero (RAG) combina il recupero di documenti con modelli linguistici di grandi dimensioni (LLM). Sebbene il ridimensionamento dei generatori migliori l'accuratezza, aumenta anche i costi e limita la possibilità di implementazione. Esploriamo un asse ortogonale: ampliare il corpus del sistema di recupero per ridurre la dipendenza da grandi LLM. I risultati sperimentali mostrano che il ridimensionamento del corpus rafforza costantemente RAG e può spesso servire come sostituto all'aumento delle dimensioni del modello, sebbene con rendimenti decrescenti su scale più ampie. Generatori di piccole e medie dimensioni abbinati a corpora più grandi spesso rivaleggiano con modelli molto più grandi dotati di corpora più piccoli; i modelli di medie dimensioni tendono a trarre il massimo vantaggio, mentre i modelli molto piccoli e molto grandi beneficiano meno. La nostra analisi mostra che i miglioramenti derivano principalmente da una maggiore copertura di passaggi contenenti risposte, mentre l'efficienza di utilizzo rimane sostanzialmente invariata. Questi risultati stabiliscono un compromesso principio tra corpus e generatore: investire in corpora più grandi offre un percorso efficace per ottenere una RAG più potente, spesso paragonabile all'ampliamento dell'LLM stesso.

English

Retrieval-Augmented Generation (RAG) couples document retrieval with large language models (LLMs). While scaling generators improves accuracy, it also raises cost and limits deployability. We explore an orthogonal axis: enlarging the retriever's corpus to reduce reliance on large LLMs. Experimental results show that corpus scaling consistently strengthens RAG and can often serve as a substitute for increasing model size, though with diminishing returns at larger scales. Small- and mid-sized generators paired with larger corpora often rival much larger models with smaller corpora; mid-sized models tend to gain the most, while tiny and large models benefit less. Our analysis shows that improvements arise primarily from increased coverage of answer-bearing passages, while utilization efficiency remains largely unchanged. These findings establish a principled corpus-generator trade-off: investing in larger corpora offers an effective path to stronger RAG, often comparable to enlarging the LLM itself.