Pontuação de Projeção de Espectro: Alinhando Resumos Recuperados com Modelos de Leitor em Geração Aumentada por Recuperação

Spectrum Projection Score: Aligning Retrieved Summaries with Reader Models in Retrieval-Augmented Generation

August 8, 2025

Autores: Zhanghao Hu, Qinglin Zhu, Siya Qi, Yulan He, Hanqi Yan, Lin Gui

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado melhoria no desempenho de geração por meio da geração aumentada por recuperação (RAG), seguindo o paradigma recuperador-leitor, que complementa as entradas do modelo com conhecimento externo recuperado. No entanto, trabalhos anteriores frequentemente avaliam o RAG de forma holística, avaliando o recuperador e o leitor em conjunto, o que dificulta isolar a verdadeira contribuição da recuperação, especialmente considerando a sensibilidade a prompts dos LLMs usados como leitores. Introduzimos o Spectrum Projection Score (SPS), uma métrica leve e sem supervisão que permite ao leitor avaliar o alinhamento semântico de um resumo recuperado com sua representação oculta, comparando a área formada pelos tokens gerados a partir do resumo e as direções principais do subespaço no leitor, além de medir a relevância. Com base no SPS, apresentamos o xCompress, uma estrutura de controle em tempo de inferência que amostra, classifica e comprime dinamicamente os candidatos a resumos recuperados. Experimentos extensos em cinco benchmarks de QA com quatro LLMs de código aberto mostram que o SPS não apenas melhora o desempenho em uma variedade de tarefas, mas também oferece uma perspectiva fundamentada sobre a interação entre recuperação e geração.

English

Large Language Models (LLMs) have shown improved generation performance through retrieval-augmented generation (RAG) following the retriever-reader paradigm, which supplements model inputs with externally retrieved knowledge. However, prior work often evaluates RAG holistically, assessing the retriever and reader jointly, making it difficult to isolate the true contribution of retrieval, particularly given the prompt sensitivity of LLMs used as readers. We introduce Spectrum Projection Score (SPS), a lightweight, supervision-free metric that allows the reader to gauge the semantic alignment of a retrieved summary with its hidden representation by comparing the area formed by generated tokens from the summary, and the principal directions of subspace in the reader and to measure the relevance. Building on SPS we present xCompress, an inference time controller framework that dynamically samples, ranks, and compresses retrieval summary candidates. Extensive experiments on five QA benchmarks with four open source LLMs show that SPS not only enhances performance across a range of tasks but also provides a principled perspective on the interaction between retrieval and generation.