Xetrieval : Explication mécaniste de la recherche dense

Résumé

Expliquer pourquoi les modèles de recherche dense attribuent des scores de pertinence élevés reste difficile, car les décisions de recherche sont prises via des plongements de haute dimension opaques. Les explications existantes se concentrent souvent sur des signaux de surface, tels que les correspondances lexicales, les alignements de tokens ou les justifications textuelles a posteriori, et offrent ainsi un aperçu limité des facteurs latents qui façonnent le comportement de la recherche dense au niveau des plongements. Nous proposons Xetrieval, un cadre mécaniste au niveau des plongements pour expliquer la recherche dense. Xetrieval introduit d'abord un internalisateur de raisonnement léger qui approxime le raisonnement en chaîne de pensée directement dans l'espace des plongements avec une seule passe avant, enrichissant les plongements de phrases avec des informations orientées vers le raisonnement tout en évitant une génération autorégressive coûteuse. Il décompose ensuite ces plongements enrichis par le raisonnement en caractéristiques éparses et interprétables par l'humain, chacune associée à une description cohérente en langage naturel. En agrégeant les chevauchements de caractéristiques éparses à travers plusieurs vues du côté document, Xetrieval fournit des explications au niveau des caractéristiques pour les décisions de recherche individuelles. Des expériences sur divers modèles de recherche et benchmarks montrent que Xetrieval découvre des caractéristiques interprétables cohérentes, produit des effets d'intervention au niveau des paires plus forts et soutient l'orientation des caractéristiques au niveau de la tâche. La page du projet et le code source sont disponibles à l'adresse https://hihiczx.github.io/Xetrieval.

English

Explaining why dense retrievers assign high relevance scores remains challenging because retrieval decisions are made through opaque high-dimensional embeddings. Existing explanations often focus on surface signals, such as lexical matches, token alignments, or post-hoc textual rationales, and thus provide limited insight into the latent factors that shape dense retrieval behavior at the embedding level. We propose Xetrieval, an embedding-level mechanistic framework for explaining dense retrieval. Xetrieval first introduces a lightweight reasoning internalizer that approximates Chain-of-Thought reasoning directly in the embedding space with a single forward pass, enriching sentence embeddings with reasoning-oriented information while avoiding expensive autoregressive generation. It then decomposes these reasoning-enhanced embeddings into sparse, human-interpretable features, each associated with a coherent natural language description. By aggregating sparse feature overlaps across multiple document-side views, Xetrieval provides feature-level explanations of individual retrieval decisions. Experiments on diverse retrievers and benchmarks show that Xetrieval uncovers coherent interpretable features, yields stronger pair-level intervention effects, and supports task-level feature steering. The project page and source code are available at https://hihiczx.github.io/Xetrieval .