ECoRAG: Evidentialiteit-gestuurde compressie voor RAG met lange context

ECoRAG: Evidentiality-guided Compression for Long Context RAG

June 5, 2025

Auteurs: Yeonseok Jeong, Jinsu Kim, Dohyeon Lee, Seung-won Hwang

cs.AI

Samenvatting

Large Language Models (LLMs) hebben opmerkelijke prestaties getoond in Open-Domain Question Answering (ODQA) door gebruik te maken van externe documenten via Retrieval-Augmented Generation (RAG). Om de overhead van RAG te verminderen, is contextcompressie noodzakelijk bij langere contexten. Eerdere compressiemethoden richten zich echter niet op het filteren van niet-bewijzende informatie, wat de prestaties van LLM-gebaseerde RAG beperkt. Daarom stellen we Evidentiality-guided RAG voor, ofwel het ECoRAG-framework. ECoRAG verbetert de prestaties van LLM's door opgehaalde documenten te comprimeren op basis van bewijskracht, waarbij wordt gegarandeerd dat de antwoordgeneratie wordt ondersteund door het juiste bewijs. Als aanvullende stap evalueert ECoRAG of de gecomprimeerde inhoud voldoende bewijs levert, en zo niet, wordt er meer opgehaald totdat dit wel het geval is. Experimenten tonen aan dat ECoRAG de prestaties van LLM's bij ODQA-taken verbetert en bestaande compressiemethoden overtreft. Bovendien is ECoRAG zeer kostenefficiënt, omdat het niet alleen de latentie vermindert, maar ook het tokengebruik minimaliseert door alleen de noodzakelijke informatie te behouden om het juiste antwoord te genereren. De code is beschikbaar op https://github.com/ldilab/ECoRAG.

English

Large Language Models (LLMs) have shown remarkable performance in Open-Domain Question Answering (ODQA) by leveraging external documents through Retrieval-Augmented Generation (RAG). To reduce RAG overhead, from longer context, context compression is necessary. However, prior compression methods do not focus on filtering out non-evidential information, which limit the performance in LLM-based RAG. We thus propose Evidentiality-guided RAG, or ECoRAG framework. ECoRAG improves LLM performance by compressing retrieved documents based on evidentiality, ensuring whether answer generation is supported by the correct evidence. As an additional step, ECoRAG reflects whether the compressed content provides sufficient evidence, and if not, retrieves more until sufficient. Experiments show that ECoRAG improves LLM performance on ODQA tasks, outperforming existing compression methods. Furthermore, ECoRAG is highly cost-efficient, as it not only reduces latency but also minimizes token usage by retaining only the necessary information to generate the correct answer. Code is available at https://github.com/ldilab/ECoRAG.