ECoRAG: Evidenzbasierte Kompression für RAG mit langem Kontext

ECoRAG: Evidentiality-guided Compression for Long Context RAG

June 5, 2025

Autoren: Yeonseok Jeong, Jinsu Kim, Dohyeon Lee, Seung-won Hwang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Leistungen im Bereich der Open-Domain Question Answering (ODQA) gezeigt, indem sie externe Dokumente durch Retrieval-Augmented Generation (RAG) nutzen. Um den RAG-Overhead zu reduzieren, ist eine Kontextkompression bei längeren Kontexten notwendig. Bisherige Kompressionsmethoden konzentrieren sich jedoch nicht darauf, nicht-evidenzbasierte Informationen herauszufiltern, was die Leistung von LLM-basiertem RAG einschränkt. Daher schlagen wir das Evidentiality-guided RAG, oder ECoRAG-Framework, vor. ECoRAG verbessert die Leistung von LLMs, indem es abgerufene Dokumente auf der Grundlage von Evidenz komprimiert und sicherstellt, dass die Antwortgenerierung durch die richtigen Beweise unterstützt wird. Als zusätzlichen Schritt berücksichtigt ECoRAG, ob der komprimierte Inhalt ausreichende Beweise liefert, und falls nicht, werden weitere Dokumente abgerufen, bis dies der Fall ist. Experimente zeigen, dass ECoRAG die Leistung von LLMs bei ODQA-Aufgaben verbessert und bestehende Kompressionsmethoden übertrifft. Darüber hinaus ist ECoRAG äußerst kosteneffizient, da es nicht nur die Latenz reduziert, sondern auch den Token-Verbrauch minimiert, indem nur die notwendigen Informationen zur Generierung der richtigen Antwort beibehalten werden. Der Code ist verfügbar unter https://github.com/ldilab/ECoRAG.

English

Large Language Models (LLMs) have shown remarkable performance in Open-Domain Question Answering (ODQA) by leveraging external documents through Retrieval-Augmented Generation (RAG). To reduce RAG overhead, from longer context, context compression is necessary. However, prior compression methods do not focus on filtering out non-evidential information, which limit the performance in LLM-based RAG. We thus propose Evidentiality-guided RAG, or ECoRAG framework. ECoRAG improves LLM performance by compressing retrieved documents based on evidentiality, ensuring whether answer generation is supported by the correct evidence. As an additional step, ECoRAG reflects whether the compressed content provides sufficient evidence, and if not, retrieves more until sufficient. Experiments show that ECoRAG improves LLM performance on ODQA tasks, outperforming existing compression methods. Furthermore, ECoRAG is highly cost-efficient, as it not only reduces latency but also minimizes token usage by retaining only the necessary information to generate the correct answer. Code is available at https://github.com/ldilab/ECoRAG.