Rappresentazioni Aumentate dal Ragionamento per il Recupero Multimodale

Reasoning-Augmented Representations for Multimodal Retrieval

February 6, 2026

Autori: Jianrui Zhang, Anirudh Sundara Rajan, Brandon Han, Soochahn Lee, Sukanta Ganguly, Yong Jae Lee

cs.AI

Abstract

La Ricerca Multimodale Universale (UMR) mira a consentire ricerche da-qualsiasi-a-qualsiasi attraverso testo e immagini, ma i moderni modelli di embedding rimangono fragili quando le query richiedono ragionamento latente (ad esempio, risolvere riferimenti sottospecificati o soddisfare vincoli composizionali). Sosteniamo che questa fragilità sia spesso indotta dai dati: quando le immagini contengono evidenze "silenti" e le query lasciano implicita la semantica chiave, un singolo passaggio di embedding deve sia ragionare che comprimere, incoraggiando un matching spurio delle feature. Proponiamo un framework data-centric che dissocia questi ruoli esternalizzando il ragionamento prima della retrieval. Utilizzando un forte Modello Visione-Linguaggio, rendiamo esplicita la semantica implicita generando descrizioni dense dell'evidenza visiva nelle voci del corpus, risolvendo riferimenti multimodali ambigui nelle query e riscrivendo istruzioni verbose in vincoli di retrieval concisi. Il potenziamento al solo momento dell'inferenza non è sufficiente; il retriever deve essere addestrato su queste rappresentazioni semanticamente dense per evitare uno shift distributivo e sfruttare appieno il segnale aggiunto. Su M-BEIR, il nostro metodo di training arricchito con il ragionamento produce guadagni consistenti rispetto a baseline solide, con ablazioni che mostrano come il potenziamento del corpus avvanti principalmente query ad alta intensità di conoscenza, mentre il potenziamento della query è cruciale per richieste di modifica composizionale. Rilasciamo pubblicamente il nostro codice all'indirizzo https://github.com/AugmentedRetrieval/ReasoningAugmentedRetrieval.

English

Universal Multimodal Retrieval (UMR) seeks any-to-any search across text and vision, yet modern embedding models remain brittle when queries require latent reasoning (e.g., resolving underspecified references or matching compositional constraints). We argue this brittleness is often data-induced: when images carry "silent" evidence and queries leave key semantics implicit, a single embedding pass must both reason and compress, encouraging spurious feature matching. We propose a data-centric framework that decouples these roles by externalizing reasoning before retrieval. Using a strong Vision--Language Model, we make implicit semantics explicit by densely captioning visual evidence in corpus entries, resolving ambiguous multimodal references in queries, and rewriting verbose instructions into concise retrieval constraints. Inference-time enhancement alone is insufficient; the retriever must be trained on these semantically dense representations to avoid distribution shift and fully exploit the added signal. Across M-BEIR, our reasoning-augmented training method yields consistent gains over strong baselines, with ablations showing that corpus enhancement chiefly benefits knowledge-intensive queries while query enhancement is critical for compositional modification requests. We publicly release our code at https://github.com/AugmentedRetrieval/ReasoningAugmentedRetrieval.