Representações Aumentadas por Raciocínio para Recuperação Multimodal

Reasoning-Augmented Representations for Multimodal Retrieval

February 6, 2026

Autores: Jianrui Zhang, Anirudh Sundara Rajan, Brandon Han, Soochahn Lee, Sukanta Ganguly, Yong Jae Lee

cs.AI

Resumo

A Recuperação Multimodal Universal (UMR) visa a busca qualquer-para-qualquer entre texto e visão, mas os modelos modernos de incorporação permanecem frágeis quando as consultas exigem raciocínio latente (por exemplo, resolver referências subespecificadas ou corresponder a restrições composicionais). Argumentamos que essa fragilidade é frequentemente induzida por dados: quando as imagens carregam evidências "silenciosas" e as consultas deixam semânticas-chave implícitas, uma única passagem de incorporação deve tanto raciocinar quanto comprimir, incentivando a correspondência espúria de características. Propomos uma estrutura centrada em dados que desacopla esses papéis, externalizando o raciocínio antes da recuperação. Usando um Modelo de Linguagem-Visão forte, tornamos a semântica implícita explícita, criando legendas densas para a evidência visual nas entradas do corpus, resolvendo referências multimodais ambíguas nas consultas e reescrevendo instruções verbosas em restrições de recuperação concisas. O aprimoramento apenas no momento da inferência é insuficiente; o recuperador deve ser treinado nessas representações semanticamente densas para evitar desvio de distribuição e explorar plenamente o sinal adicional. No M-BEIR, nosso método de treinamento aumentado por raciocínio produz ganhos consistentes sobre linhas de base fortes, com ablações mostrando que o aprimoramento do corpus beneficia principalmente consultas intensivas em conhecimento, enquanto o aprimoramento da consulta é crítico para pedidos de modificação composicional. Disponibilizamos publicamente nosso código em https://github.com/AugmentedRetrieval/ReasoningAugmentedRetrieval.

English

Universal Multimodal Retrieval (UMR) seeks any-to-any search across text and vision, yet modern embedding models remain brittle when queries require latent reasoning (e.g., resolving underspecified references or matching compositional constraints). We argue this brittleness is often data-induced: when images carry "silent" evidence and queries leave key semantics implicit, a single embedding pass must both reason and compress, encouraging spurious feature matching. We propose a data-centric framework that decouples these roles by externalizing reasoning before retrieval. Using a strong Vision--Language Model, we make implicit semantics explicit by densely captioning visual evidence in corpus entries, resolving ambiguous multimodal references in queries, and rewriting verbose instructions into concise retrieval constraints. Inference-time enhancement alone is insufficient; the retriever must be trained on these semantically dense representations to avoid distribution shift and fully exploit the added signal. Across M-BEIR, our reasoning-augmented training method yields consistent gains over strong baselines, with ablations showing that corpus enhancement chiefly benefits knowledge-intensive queries while query enhancement is critical for compositional modification requests. We publicly release our code at https://github.com/AugmentedRetrieval/ReasoningAugmentedRetrieval.