ECoRAG: Compressione Guidata dall'Evidenzialità per RAG a Contesto Esteso

ECoRAG: Evidentiality-guided Compression for Long Context RAG

June 5, 2025

Autori: Yeonseok Jeong, Jinsu Kim, Dohyeon Lee, Seung-won Hwang

cs.AI

Abstract

I Large Language Model (LLM) hanno dimostrato prestazioni notevoli nel campo del Question Answering a Dominio Aperto (ODQA) sfruttando documenti esterni attraverso il Retrieval-Augmented Generation (RAG). Per ridurre l'overhead di RAG, derivante da contesti più lunghi, è necessaria la compressione del contesto. Tuttavia, i metodi di compressione precedenti non si concentrano sull'eliminazione delle informazioni non probanti, il che limita le prestazioni di RAG basato su LLM. Proponiamo quindi il framework Evidentiality-guided RAG, o ECoRAG. ECoRAG migliora le prestazioni degli LLM comprimendo i documenti recuperati in base all'evidenzialità, assicurandosi che la generazione della risposta sia supportata dalle prove corrette. Come ulteriore passo, ECoRAG valuta se il contenuto compresso fornisca prove sufficienti e, in caso contrario, recupera ulteriori informazioni fino a raggiungere un livello adeguato. Gli esperimenti dimostrano che ECoRAG migliora le prestazioni degli LLM nei task ODQA, superando i metodi di compressione esistenti. Inoltre, ECoRAG è altamente efficiente in termini di costi, poiché non solo riduce la latenza ma minimizza anche l'uso di token mantenendo solo le informazioni necessarie per generare la risposta corretta. Il codice è disponibile all'indirizzo https://github.com/ldilab/ECoRAG.

English

Large Language Models (LLMs) have shown remarkable performance in Open-Domain Question Answering (ODQA) by leveraging external documents through Retrieval-Augmented Generation (RAG). To reduce RAG overhead, from longer context, context compression is necessary. However, prior compression methods do not focus on filtering out non-evidential information, which limit the performance in LLM-based RAG. We thus propose Evidentiality-guided RAG, or ECoRAG framework. ECoRAG improves LLM performance by compressing retrieved documents based on evidentiality, ensuring whether answer generation is supported by the correct evidence. As an additional step, ECoRAG reflects whether the compressed content provides sufficient evidence, and if not, retrieves more until sufficient. Experiments show that ECoRAG improves LLM performance on ODQA tasks, outperforming existing compression methods. Furthermore, ECoRAG is highly cost-efficient, as it not only reduces latency but also minimizes token usage by retaining only the necessary information to generate the correct answer. Code is available at https://github.com/ldilab/ECoRAG.