Représentations à raisonnement augmenté pour la recherche multimodale

Reasoning-Augmented Representations for Multimodal Retrieval

February 6, 2026

papers.authors: Jianrui Zhang, Anirudh Sundara Rajan, Brandon Han, Soochahn Lee, Sukanta Ganguly, Yong Jae Lee

cs.AI

papers.abstract

La Recherche Multimodale Universelle (UMR) vise une recherche intermodale entre texte et vision, mais les modèles d'embedding modernes restent fragiles lorsque les requêtes nécessitent un raisonnement latent (par exemple, résoudre des références sous-spécifiées ou faire correspondre des contraintes compositionnelles). Nous soutenons que cette fragilité est souvent induite par les données : lorsque les images contiennent des preuves "silencieuses" et que les requêtes laissent implicites des sémantiques clés, un seul passage d'embedding doit à la fois raisonner et compresser, favorisant ainsi des appariements de caractéristiques fallacieux. Nous proposons un cadre centré sur les données qui découple ces rôles en externalisant le raisonnement avant la récupération. En utilisant un modèle vision-langage performant, nous rendons la sémantique implicite explicite en décrivant densément les preuves visuelles dans les entrées du corpus, en résolvant les références multimodales ambiguës dans les requêtes, et en reformulant les instructions verbeuses en contraintes de récupération concises. L'enrichissement lors de l'inférence seul est insuffisant ; le récupérateur doit être entraîné sur ces représentations sémantiquement denses pour éviter un décalage de distribution et exploiter pleinement le signal ajouté. Sur M-BEIR, notre méthode d'entraînement augmentée par le raisonnement produit des gains constants par rapport aux bases de référence solides, les ablations montrant que l'enrichissement du corpus profite principalement aux requêtes nécessitant des connaissances, tandis que l'enrichissement des requêtes est crucial pour les demandes de modification compositionnelle. Nous publions notre code à l'adresse https://github.com/AugmentedRetrieval/ReasoningAugmentedRetrieval.

English

Universal Multimodal Retrieval (UMR) seeks any-to-any search across text and vision, yet modern embedding models remain brittle when queries require latent reasoning (e.g., resolving underspecified references or matching compositional constraints). We argue this brittleness is often data-induced: when images carry "silent" evidence and queries leave key semantics implicit, a single embedding pass must both reason and compress, encouraging spurious feature matching. We propose a data-centric framework that decouples these roles by externalizing reasoning before retrieval. Using a strong Vision--Language Model, we make implicit semantics explicit by densely captioning visual evidence in corpus entries, resolving ambiguous multimodal references in queries, and rewriting verbose instructions into concise retrieval constraints. Inference-time enhancement alone is insufficient; the retriever must be trained on these semantically dense representations to avoid distribution shift and fully exploit the added signal. Across M-BEIR, our reasoning-augmented training method yields consistent gains over strong baselines, with ablations showing that corpus enhancement chiefly benefits knowledge-intensive queries while query enhancement is critical for compositional modification requests. We publicly release our code at https://github.com/AugmentedRetrieval/ReasoningAugmentedRetrieval.