失敗から学ぶ：統一マルチモーダル検索のためのハードネガティブを用いた検索中心のCoT

要旨

統一マルチモーダル検索は、異種入力によって表現される複雑なユーザ意図を満たす候補を特定することを目的とする。大規模視覚言語モデル（LVLM）に基づく検索器は効率的かつスケーラブルであるが、生のマルチモーダル入力を直接符号化すると、細かい識別的手がかりを見落としがちであり、意味的に類似した候補間の混同を引き起こす。近年の手法では、チェーン・オブ・ソート（CoT）推論を生成してクエリ表現を豊かにすることで、この限界を緩和している。しかしながら、そのような推論は通常、クエリのみから導出される。つまり、クエリが記述している内容は説明するが、検索器が何を誤解しているかは説明しない。我々は、効果的な検索推論は、むしろ検索フィードバックに条件付けられるべきであると主張する。この知見に基づき、我々は、初期検索で得られた候補について推論し、検索中心チェーン・オブ・ソート（RC-CoT）を生成することを学習する、埋め込み器・アドバイザ構成のフレームワークであるUniME-R1を提案する。アドバイザは候補を個別に分析し、埋め込み器が混同している識別的手がかりを特定する。ターゲットが初期のtop-k集合に含まれる場合、UniME-R1は候補を直接再ランキングする。そうでない場合、RC-CoTを生成して検索方向を洗練し、デュアルモード埋め込み器を用いてコーパス全体の再検索を実行する。本フレームワークの学習では、現実的な検索失敗を模擬するためにハードネガティブをマイニングし、直接検索とRC-CoT拡張検索を共同で最適化し、教師あり学習と検索指向強化学習を通じてアドバイザを検索結果と整合させる。MMEB-V2および多様な一般マルチモーダル検索ベンチマークにおける広範な実験により、UniME-R1が強力なベースラインと比較して検索性能を一貫して向上させることが実証された。

English

Unified multimodal retrieval aims to identify candidates that satisfy complex user intent expressed through heterogeneous inputs. Although Large Vision-Language Model (LVLM)-based retrievers are efficient and scalable, directly encoding raw multimodal inputs often misses fine-grained discriminative cues, leading to confusion among semantically similar candidates. Recent methods mitigate this limitation by generating Chain-of-Thought (CoT) rationales to enrich the query representation. However, such reasoning is typically derived from the query alone: it explains what the query describes, but not what the retriever misunderstands. We argue that effective retrieval reasoning should instead be conditioned on retrieval feedback. Based on this insight, we introduce UniME-R1, an embedder-adviser framework that learns to reason over initially retrieved candidates and generate Retrieval-Centric Chain-of-Thought (RC-CoT). The adviser analyzes candidates individually to identify the discriminative cues confused by the embedder. If the target appears in the initial top-k set, UniME-R1 directly reranks the candidates; otherwise, it generates RC-CoT to refine the retrieval direction and performs full-corpus re-retrieval with a dual-mode embedder. To train the framework, we mine hard negatives to simulate realistic retrieval failures, jointly optimize direct retrieval and RC-CoT-augmented retrieval, and align the adviser with retrieval outcomes through supervised learning and retrieval-oriented reinforcement learning. Extensive experiments on MMEB-V2 and a diverse set of general multimodal retrieval benchmarks demonstrate that UniME-R1 consistently improves retrieval performance over strong baselines.