Xetrieval: 밀집 검색의 메커니즘적 설명

초록

밀집 검색기가 높은 관련성 점수를 부여하는 이유를 설명하는 것은 여전히 어려운 과제인데, 이는 검색 결정이 불투명한 고차원 임베딩을 통해 이루어지기 때문이다. 기존 설명은 종종 어휘 일치, 토큰 정렬 또는 사후 텍스트 근거와 같은 표면 신호에 초점을 맞추기 때문에, 임베딩 수준에서 밀집 검색 행동을 형성하는 잠재 요인에 대한 통찰을 제한적으로 제공한다. 본 논문에서는 밀집 검색을 설명하기 위한 임베딩 수준의 메커니즘적 프레임워크인 Xetrieval을 제안한다. Xetrieval은 먼저 경량 추론 내재화기를 도입하여, 값비싼 자기회귀 생성을 피하면서 단일 순방향 전달로 임베딩 공간에서 직접 사고 사슬 추론을 근사화하고, 문장 임베딩을 추론 지향 정보로 풍부하게 한다. 그런 다음 이러한 추론 강화 임베딩을 각각 일관된 자연어 설명과 연결된 희소하고 인간이 해석 가능한 특징으로 분해한다. Xetrieval은 여러 문서 측면 뷰에 걸쳐 희소 특징 중첩을 집계함으로써 개별 검색 결정에 대한 특징 수준 설명을 제공한다. 다양한 검색기와 벤치마크에 대한 실험 결과, Xetrieval은 일관된 해석 가능한 특징을 발견하고, 더 강력한 쌍 수준 개입 효과를 나타내며, 과제 수준 특징 조정을 지원함을 보여준다. 프로젝트 페이지와 소스 코드는 https://hihiczx.github.io/Xetrieval에서 확인할 수 있다.

English

Explaining why dense retrievers assign high relevance scores remains challenging because retrieval decisions are made through opaque high-dimensional embeddings. Existing explanations often focus on surface signals, such as lexical matches, token alignments, or post-hoc textual rationales, and thus provide limited insight into the latent factors that shape dense retrieval behavior at the embedding level. We propose Xetrieval, an embedding-level mechanistic framework for explaining dense retrieval. Xetrieval first introduces a lightweight reasoning internalizer that approximates Chain-of-Thought reasoning directly in the embedding space with a single forward pass, enriching sentence embeddings with reasoning-oriented information while avoiding expensive autoregressive generation. It then decomposes these reasoning-enhanced embeddings into sparse, human-interpretable features, each associated with a coherent natural language description. By aggregating sparse feature overlaps across multiple document-side views, Xetrieval provides feature-level explanations of individual retrieval decisions. Experiments on diverse retrievers and benchmarks show that Xetrieval uncovers coherent interpretable features, yields stronger pair-level intervention effects, and supports task-level feature steering. The project page and source code are available at https://hihiczx.github.io/Xetrieval .