Xetrieval: 密検索のメカニズム的解明

要旨

高密度検索器（dense retriever）が高い関連性スコアを割り当てる理由を説明することは、検索の決定が不透明な高次元埋め込みを通じて行われるため、依然として困難である。既存の説明は、多くの場合、語彙一致、トークンアラインメント、あるいは事後的なテキスト根拠といった表面的な信号に焦点を当てており、埋め込みレベルで高密度検索の振る舞いを形成する潜在因子に対する洞察は限られている。我々は、高密度検索を説明するための埋め込みレベルのメカニズム的フレームワークであるXetrievalを提案する。Xetrievalはまず、軽量な推論内部化器（reasoning internalizer）を導入する。これは、チェーン・オブ・ソート推論を埋め込み空間内で直接、単一のフォワードパスで近似し、文埋め込みに推論指向の情報を付加しつつ、高コストな自己回帰生成を回避する。次に、これらの推論強化埋め込みを、スパースで人間が解釈可能な特徴量に分解する。各特徴量は、首尾一貫した自然言語記述と関連付けられる。複数の文書側ビューにわたるスパース特徴量の重複を集約することにより、Xetrievalは個々の検索決定に対する特徴量レベルの説明を提供する。多様な検索器とベンチマークを用いた実験により、Xetrievalが首尾一貫した解釈可能な特徴量を発見し、より強力なペアレベルの介入効果をもたらし、タスクレベルの特徴量操作を支援することが示された。プロジェクトページとソースコードはhttps://hihiczx.github.io/Xetrieval で入手できる。

English

Explaining why dense retrievers assign high relevance scores remains challenging because retrieval decisions are made through opaque high-dimensional embeddings. Existing explanations often focus on surface signals, such as lexical matches, token alignments, or post-hoc textual rationales, and thus provide limited insight into the latent factors that shape dense retrieval behavior at the embedding level. We propose Xetrieval, an embedding-level mechanistic framework for explaining dense retrieval. Xetrieval first introduces a lightweight reasoning internalizer that approximates Chain-of-Thought reasoning directly in the embedding space with a single forward pass, enriching sentence embeddings with reasoning-oriented information while avoiding expensive autoregressive generation. It then decomposes these reasoning-enhanced embeddings into sparse, human-interpretable features, each associated with a coherent natural language description. By aggregating sparse feature overlaps across multiple document-side views, Xetrieval provides feature-level explanations of individual retrieval decisions. Experiments on diverse retrievers and benchmarks show that Xetrieval uncovers coherent interpretable features, yields stronger pair-level intervention effects, and supports task-level feature steering. The project page and source code are available at https://hihiczx.github.io/Xetrieval .