スペクトル投影スコア：検索拡張生成における取得要約と読者モデルの整合化

要旨

大規模言語モデル（LLMs）は、検索強化生成（RAG）を通じて生成性能の向上を示しており、これは検索者-読者パラダイムに従って、モデルの入力に外部から取得した知識を補完するものである。しかし、従来の研究ではRAGを全体的に評価し、検索者と読者を一括して評価することが多く、特に読者として使用されるLLMsのプロンプト感度を考慮すると、検索の真の貢献を分離することが困難であった。本論文では、Spectrum Projection Score（SPS）を導入する。これは軽量で教師なしの指標であり、読者が取得した要約とその隠れ表現との意味的整合性を、要約から生成されたトークンによって形成される領域と、読者の部分空間の主方向を比較することで測定し、関連性を評価することを可能にする。SPSを基盤として、推論時間制御フレームワークであるxCompressを提案する。これは、取得した要約候補を動的にサンプリング、ランク付け、圧縮するものである。4つのオープンソースLLMsを用いた5つのQAベンチマークでの広範な実験により、SPSが幅広いタスクで性能を向上させるだけでなく、検索と生成の相互作用について原理的な視点を提供することが示された。

English

Large Language Models (LLMs) have shown improved generation performance through retrieval-augmented generation (RAG) following the retriever-reader paradigm, which supplements model inputs with externally retrieved knowledge. However, prior work often evaluates RAG holistically, assessing the retriever and reader jointly, making it difficult to isolate the true contribution of retrieval, particularly given the prompt sensitivity of LLMs used as readers. We introduce Spectrum Projection Score (SPS), a lightweight, supervision-free metric that allows the reader to gauge the semantic alignment of a retrieved summary with its hidden representation by comparing the area formed by generated tokens from the summary, and the principal directions of subspace in the reader and to measure the relevance. Building on SPS we present xCompress, an inference time controller framework that dynamically samples, ranks, and compresses retrieval summary candidates. Extensive experiments on five QA benchmarks with four open source LLMs show that SPS not only enhances performance across a range of tasks but also provides a principled perspective on the interaction between retrieval and generation.

スペクトル投影スコア：検索拡張生成における取得要約と読者モデルの整合化

Spectrum Projection Score: Aligning Retrieved Summaries with Reader Models in Retrieval-Augmented Generation

要旨

Support