스펙트럼 프로젝션 점수: 검색 강화 생성에서 검색된 요약과 독자 모델의 정렬

초록

대형 언어 모델(LLMs)은 검색-강화 생성(Retrieval-Augmented Generation, RAG)을 통해 생성 성능이 향상되었으며, 이는 외부에서 검색된 지식을 모델 입력에 보충하는 검색기-판독기(retriever-reader) 패러다임을 따릅니다. 그러나 기존 연구에서는 RAG를 종합적으로 평가하여 검색기와 판독기를 함께 평가함으로써, 특히 판독기로 사용되는 LLMs의 프롬프트 민감성을 고려할 때 검색의 실제 기여도를 분리하기 어려웠습니다. 본 연구에서는 스펙트럼 투영 점수(Spectrum Projection Score, SPS)를 소개합니다. SPS는 경량화되고 지도 학습이 필요 없는 지표로, 판독기가 검색된 요약과 그 숨겨진 표현 간의 의미적 일치를 측정할 수 있도록 합니다. 이는 요약에서 생성된 토큰들로 형성된 영역과 판독기의 부분 공간의 주 방향을 비교하여 관련성을 측정합니다. SPS를 기반으로, 본 연구는 추론 시간 제어 프레임워크인 xCompress를 제안합니다. xCompress는 동적으로 검색 요약 후보를 샘플링, 순위 지정 및 압축합니다. 4개의 오픈소스 LLMs를 사용한 5개의 질의응답(QA) 벤치마크에 대한 광범위한 실험을 통해, SPS가 다양한 작업에서 성능을 향상시킬 뿐만 아니라 검색과 생성 간의 상호작용에 대한 원칙적인 관점을 제공함을 보여줍니다.

English

Large Language Models (LLMs) have shown improved generation performance through retrieval-augmented generation (RAG) following the retriever-reader paradigm, which supplements model inputs with externally retrieved knowledge. However, prior work often evaluates RAG holistically, assessing the retriever and reader jointly, making it difficult to isolate the true contribution of retrieval, particularly given the prompt sensitivity of LLMs used as readers. We introduce Spectrum Projection Score (SPS), a lightweight, supervision-free metric that allows the reader to gauge the semantic alignment of a retrieved summary with its hidden representation by comparing the area formed by generated tokens from the summary, and the principal directions of subspace in the reader and to measure the relevance. Building on SPS we present xCompress, an inference time controller framework that dynamically samples, ranks, and compresses retrieval summary candidates. Extensive experiments on five QA benchmarks with four open source LLMs show that SPS not only enhances performance across a range of tasks but also provides a principled perspective on the interaction between retrieval and generation.

스펙트럼 프로젝션 점수: 검색 강화 생성에서 검색된 요약과 독자 모델의 정렬

Spectrum Projection Score: Aligning Retrieved Summaries with Reader Models in Retrieval-Augmented Generation

초록

Support