ECoRAG: Compressão Guiada por Evidencialidade para RAG de Contexto Longo

ECoRAG: Evidentiality-guided Compression for Long Context RAG

June 5, 2025

Autores: Yeonseok Jeong, Jinsu Kim, Dohyeon Lee, Seung-won Hwang

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram desempenho notável em Resposta a Perguntas de Domínio Aberto (ODQA) ao aproveitar documentos externos por meio de Geração Aumentada por Recuperação (RAG). Para reduzir a sobrecarga do RAG, a partir de contextos mais longos, a compressão do contexto é necessária. No entanto, os métodos de compressão anteriores não se concentram em filtrar informações não evidenciais, o que limita o desempenho do RAG baseado em LLM. Assim, propomos o RAG Guiado por Evidencialidade, ou estrutura ECoRAG. O ECoRAG melhora o desempenho do LLM ao comprimir documentos recuperados com base na evidencialidade, garantindo que a geração de respostas seja suportada pela evidência correta. Como uma etapa adicional, o ECoRAG avalia se o conteúdo comprimido fornece evidências suficientes e, caso contrário, recupera mais até que sejam suficientes. Experimentos mostram que o ECoRAG melhora o desempenho do LLM em tarefas de ODQA, superando os métodos de compressão existentes. Além disso, o ECoRAG é altamente custo-eficiente, pois não apenas reduz a latência, mas também minimiza o uso de tokens ao reter apenas as informações necessárias para gerar a resposta correta. O código está disponível em https://github.com/ldilab/ECoRAG.

English

Large Language Models (LLMs) have shown remarkable performance in Open-Domain Question Answering (ODQA) by leveraging external documents through Retrieval-Augmented Generation (RAG). To reduce RAG overhead, from longer context, context compression is necessary. However, prior compression methods do not focus on filtering out non-evidential information, which limit the performance in LLM-based RAG. We thus propose Evidentiality-guided RAG, or ECoRAG framework. ECoRAG improves LLM performance by compressing retrieved documents based on evidentiality, ensuring whether answer generation is supported by the correct evidence. As an additional step, ECoRAG reflects whether the compressed content provides sufficient evidence, and if not, retrieves more until sufficient. Experiments show that ECoRAG improves LLM performance on ODQA tasks, outperforming existing compression methods. Furthermore, ECoRAG is highly cost-efficient, as it not only reduces latency but also minimizes token usage by retaining only the necessary information to generate the correct answer. Code is available at https://github.com/ldilab/ECoRAG.