Punteggio di Proiezione dello Spettro: Allineamento dei Riassunti Recuperati con i Modelli del Lettore nella Generazione Aumentata dal Recupero

Spectrum Projection Score: Aligning Retrieved Summaries with Reader Models in Retrieval-Augmented Generation

August 8, 2025

Autori: Zhanghao Hu, Qinglin Zhu, Siya Qi, Yulan He, Hanqi Yan, Lin Gui

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato miglioramenti nelle prestazioni di generazione attraverso la generazione aumentata da recupero (RAG) seguendo il paradigma retriever-reader, che integra gli input del modello con conoscenze recuperate esternamente. Tuttavia, i lavori precedenti spesso valutano la RAG in modo olistico, analizzando congiuntamente il retriever e il reader, rendendo difficile isolare il vero contributo del recupero, specialmente data la sensibilità ai prompt degli LLM utilizzati come reader. Introduciamo lo Spectrum Projection Score (SPS), una metrica leggera e priva di supervisione che consente al reader di valutare l'allineamento semantico di un riassunto recuperato con la sua rappresentazione nascosta confrontando l'area formata dai token generati dal riassunto e le direzioni principali del sottospazio nel reader, misurando così la rilevanza. Basandoci su SPS, presentiamo xCompress, un framework di controllo al momento dell'inferenza che campiona, classifica e comprime dinamicamente i candidati per i riassunti recuperati. Esperimenti estesi su cinque benchmark di domande e risposte con quattro LLM open source dimostrano che SPS non solo migliora le prestazioni in una gamma di task, ma fornisce anche una prospettiva principiata sull'interazione tra recupero e generazione.

English

Large Language Models (LLMs) have shown improved generation performance through retrieval-augmented generation (RAG) following the retriever-reader paradigm, which supplements model inputs with externally retrieved knowledge. However, prior work often evaluates RAG holistically, assessing the retriever and reader jointly, making it difficult to isolate the true contribution of retrieval, particularly given the prompt sensitivity of LLMs used as readers. We introduce Spectrum Projection Score (SPS), a lightweight, supervision-free metric that allows the reader to gauge the semantic alignment of a retrieved summary with its hidden representation by comparing the area formed by generated tokens from the summary, and the principal directions of subspace in the reader and to measure the relevance. Building on SPS we present xCompress, an inference time controller framework that dynamically samples, ranks, and compresses retrieval summary candidates. Extensive experiments on five QA benchmarks with four open source LLMs show that SPS not only enhances performance across a range of tasks but also provides a principled perspective on the interaction between retrieval and generation.