CoinRAG：長文脈RAGのための文脈化情報ナゲットKVキャッシュ再利用

要旨

近年の検索拡張生成（RAG）に関する最適化研究では、チャンク単位のKVキャッシュ再利用を活用し、長い検索コンテキストの処理を回避することで効率を高めているが、粗粒度のチャンクには依然として重大な情報の冗長性とノイズが残っている。本論文では、低プリフィル遅延制約下でのパレートフロンティアを最適化しつつ精度を最大化する手法として、CoinRAG（Contextualized Information Nugget KV Cache Reuse for Long-Context RAG）を提案する。この名称は、我々の核心メカニズムを比喩的に反映している。すなわち、小さなコインを組み合わせてより大きな価値を蓄積するように、CoinRAGはオフラインで計算された細粒度のナゲットキャッシュを合成的に再利用し、意味的により関連性が高くかつコンパクトな形で、学習された文脈表現を効率的に構築する。具体的には、全チャンクをエンコードする代わりに、CoinRAGは二段階検索を通じて検索チャンク内のクエリ関連の意味単位を識別し、それらのスライスされたKV表現をチャンクレベルの文脈とシームレスに組み立てる。LongBenchのマルチホップ質問応答タスクに関する広範な評価により、CoinRAGは運用コストを大幅に削減し、標準的な高速プリフィル遅延予算の下で、新たなパレートフロンティアと平均5.3%の回答品質（F1）の相対的な改善を達成し、他のベースラインを上回ることが実証された。

English

Recent optimization studies on Retrieval-Augmented Generation (RAG) have exploited chunk-level KV cache reuse to avoid processing long retrieved contexts for higher efficiency, while significant information redundancy and noise still remain in the coarse-grained chunks. This paper optimizes the Pareto frontier under low prefill latency constraints while maximizing accuracy by proposing CoinRAG (Contextualized Information Nugget KV Cache Reuse for Long-Context RAG). The name metaphorically reflects our core mechanism: much like assembling small tokens (or "coins") to accumulate a larger value, CoinRAG compositionally reuses offline-computed, fine-grained nugget caches to form a learned contextual representation efficiently in a more semantically relevant but compact manner. Specifically, instead of full-chunk encoding, CoinRAG identifies query-relevant semantic units within retrieved chunks through two-stage retrieval and seamlessly assembles their sliced KV representations with a chunk-level context. Extensive evaluations on LongBench multi-hop question answering tasks demonstrate that CoinRAG significantly reduces operational costs and outperforms the other baselines with a new Pareto frontier and an average 5.3% relative improvement in answer quality (F1) under a standard fast prefill latency budget.