CoinRAG: 장문맥 RAG를 위한 맥락화된 정보 조각 KV 캐시 재사용

초록

최근 Retrieval-Augmented Generation(RAG)에 대한 최적화 연구들은 청크 단위 KV 캐시 재사용을 활용하여 길게 검색된 컨텍스트를 처리하지 않음으로써 효율성을 높이고자 하였으나, 거친 입자의 청크에는 여전히 상당한 정보 중복과 노이즈가 존재한다. 본 논문은 CoinRAG(Contextualized Information Nugget KV Cache Reuse for Long-Context RAG)을 제안하여 낮은 프리필(prefill) 지연 시간 제약 조건에서의 파레토 최적 경계(Pareto frontier)를 최적화하면서 정확도를 극대화한다. 그 이름은 우리의 핵심 메커니즘을 은유적으로 반영한다. 작은 토큰(또는 "동전")들을 조합하여 더 큰 가치를 축적하는 것과 유사하게, CoinRAG는 오프라인에서 계산된 세밀한 너겟(nugget) 캐시를 구성적으로 재사용하여 의미적으로 더 관련성이 높으면서도 더욱 압축된 방식으로 학습된 컨텍스트 표현을 효율적으로 형성한다. 구체적으로, 전체 청크를 인코딩하는 대신 CoinRAG는 두 단계 검색을 통해 검색된 청크 내에서 쿼리와 관련된 의미 단위를 식별하고, 이들의 슬라이스된 KV 표현을 청크 수준 컨텍스트와 원활하게 조합한다. LongBench 다중 홉 질의응답 작업에 대한 광범위한 평가는 CoinRAG가 운영 비용을 크게 줄이고, 표준적인 고속 프리필 지연 시간 예산 하에서 새로운 파레토 최적 경계와 평균 5.3%의 답변 품질(F1) 상대적 개선을 달성하여 다른 기준선들을 능가함을 보여준다.

English

Recent optimization studies on Retrieval-Augmented Generation (RAG) have exploited chunk-level KV cache reuse to avoid processing long retrieved contexts for higher efficiency, while significant information redundancy and noise still remain in the coarse-grained chunks. This paper optimizes the Pareto frontier under low prefill latency constraints while maximizing accuracy by proposing CoinRAG (Contextualized Information Nugget KV Cache Reuse for Long-Context RAG). The name metaphorically reflects our core mechanism: much like assembling small tokens (or "coins") to accumulate a larger value, CoinRAG compositionally reuses offline-computed, fine-grained nugget caches to form a learned contextual representation efficiently in a more semantically relevant but compact manner. Specifically, instead of full-chunk encoding, CoinRAG identifies query-relevant semantic units within retrieved chunks through two-stage retrieval and seamlessly assembles their sliced KV representations with a chunk-level context. Extensive evaluations on LongBench multi-hop question answering tasks demonstrate that CoinRAG significantly reduces operational costs and outperforms the other baselines with a new Pareto frontier and an average 5.3% relative improvement in answer quality (F1) under a standard fast prefill latency budget.