SAGE: Een raamwerk voor precieze retrievalsystemen voor RAG

SAGE: A Framework of Precise Retrieval for RAG

March 3, 2025

Auteurs: Jintao Zhang, Guoliang Li, Jinyang Su

cs.AI

Samenvatting

Retrieval-augmented generation (RAG) heeft aanzienlijke vaardigheid getoond bij het uitvoeren van vraag-antwoordtaken (QA) binnen een gespecificeerd corpus. Desalniettemin bestaan er nog steeds talrijke gevallen waarin RAG faalt in QA-taken. Deze mislukkingen zijn niet uitsluitend toe te schrijven aan de beperkingen van Large Language Models (LLMs); in plaats daarvan ontstaan ze voornamelijk door het ophalen van onnauwkeurige informatie voor LLMs als gevolg van twee beperkingen: (1) Huidige RAG-methoden segmenteren het corpus zonder rekening te houden met semantiek, waardoor het moeilijk is om relevante context te vinden vanwege een verstoorde correlatie tussen vragen en de segmenten. (2) Er is een afweging tussen het missen van essentiële context bij het ophalen van minder context en het verkrijgen van irrelevante context bij het ophalen van meer context. In dit artikel introduceren we een RAG-framework (SAGE) om deze beperkingen te overwinnen. Ten eerste, om het segmentatieprobleem zonder semantische overwegingen aan te pakken, stellen we voor om een semantisch segmentatiemodel te trainen. Dit model wordt getraind om het corpus te segmenteren in semantisch complete brokken. Ten tweede, om ervoor te zorgen dat alleen de meest relevante brokken worden opgehaald terwijl de irrelevante worden genegeerd, ontwerpen we een brokselectie-algoritme dat dynamisch brokken selecteert op basis van de afnemende snelheid van de relevantiescore, wat leidt tot een relevantere selectie. Ten derde, om de precisie van de opgehaalde brokken verder te waarborgen, stellen we voor om LLMs te laten beoordelen of de opgehaalde brokken overmatig of ontoereikend zijn en vervolgens de hoeveelheid context dienovereenkomstig aan te passen. Experimenten tonen aan dat SAGE de baseline-methoden met gemiddeld 61,25% overtreft in de kwaliteit van QA. Bovendien, door het vermijden van het ophalen van ruiscontext, verlaagt SAGE de kosten van de tokens die worden verbruikt tijdens LLM-inferentie en behaalt het een gemiddelde verbetering van 49,41% in kostenefficiëntie. Daarnaast biedt ons werk waardevolle inzichten voor het verbeteren van RAG.

English

Retrieval-augmented generation (RAG) has demonstrated significant proficiency in conducting question-answering (QA) tasks within a specified corpus. Nonetheless, numerous failure instances of RAG in QA still exist. These failures are not solely attributable to the limitations of Large Language Models (LLMs); instead, they predominantly arise from the retrieval of inaccurate information for LLMs due to two limitations: (1) Current RAG methods segment the corpus without considering semantics, making it difficult to find relevant context due to impaired correlation between questions and the segments. (2) There is a trade-off between missing essential context with fewer context retrieved and getting irrelevant context with more context retrieved. In this paper, we introduce a RAG framework (SAGE), to overcome these limitations. First, to address the segmentation issue without considering semantics, we propose to train a semantic segmentation model. This model is trained to segment the corpus into semantically complete chunks. Second, to ensure that only the most relevant chunks are retrieved while the irrelevant ones are ignored, we design a chunk selection algorithm to dynamically select chunks based on the decreasing speed of the relevance score, leading to a more relevant selection. Third, to further ensure the precision of the retrieved chunks, we propose letting LLMs assess whether retrieved chunks are excessive or lacking and then adjust the amount of context accordingly. Experiments show that SAGE outperforms baselines by 61.25% in the quality of QA on average. Moreover, by avoiding retrieving noisy context, SAGE lowers the cost of the tokens consumed in LLM inference and achieves a 49.41% enhancement in cost efficiency on average. Additionally, our work offers valuable insights for boosting RAG.