실패로부터 배우기: 통합 멀티모달 검색을 위한 하드 네거티브 기반 검색 중심 사고 사슬(CoT) *본 논문은 CVPR 2025에 게재가 확정되었습니다.*

초록

통합 멀티모달 검색은 이질적 입력으로 표현된 복잡한 사용자 의도를 충족하는 후보를 식별하는 것을 목표로 한다. 대규모 비전-언어 모델(LVLM) 기반 검색기는 효율적이고 확장 가능하지만, 원시 멀티모달 입력을 직접 인코딩하는 방식은 종종 미세한 변별 단서를 놓쳐 의미적으로 유사한 후보 간의 혼동을 초래한다. 최근 방법들은 사고 사슬(CoT) 근거를 생성하여 질의 표현을 풍부하게 함으로써 이러한 한계를 완화한다. 그러나 이러한 추론은 일반적으로 질의만으로부터 도출되며, 질의가 무엇을 설명하는지는 나타내지만 검색기가 무엇을 오해하는지는 설명하지 못한다. 우리는 효과적인 검색 추론이 오히려 검색 피드백에 조건화되어야 한다고 주장한다. 이 통찰에 기반하여, 우리는 초기 검색 후보들에 대해 추론하고 검색 중심 사고 사슬(RC-CoT)을 생성하는 방법을 학습하는 임베더-어드바이저 프레임워크인 UniME-R1을 제안한다. 어드바이저는 후보들을 개별적으로 분석하여 임베더가 혼동하는 변별 단서를 식별한다. 목표가 초기 상위 k 집합에 존재하면 UniME-R1은 후보들을 직접 재순위화하고, 그렇지 않으면 RC-CoT를 생성하여 검색 방향을 정제한 후 이중 모드 임베더로 전체 말뭉치를 재검색한다. 이 프레임워크를 훈련하기 위해 우리는 하드 네거티브를 마이닝하여 실제적인 검색 실패를 시뮬레이션하고, 직접 검색과 RC-CoT 강화 검색을 공동으로 최적화하며, 지도 학습과 검색 지향 강화 학습을 통해 어드바이저를 검색 결과와 정렬한다. MMEB-V2 및 다양한 일반 멀티모달 검색 벤치마크에 대한 광범위한 실험을 통해 UniME-R1이 강력한 기준선 대비 검색 성능을 일관되게 향상시킴을 보여준다.

English

Unified multimodal retrieval aims to identify candidates that satisfy complex user intent expressed through heterogeneous inputs. Although Large Vision-Language Model (LVLM)-based retrievers are efficient and scalable, directly encoding raw multimodal inputs often misses fine-grained discriminative cues, leading to confusion among semantically similar candidates. Recent methods mitigate this limitation by generating Chain-of-Thought (CoT) rationales to enrich the query representation. However, such reasoning is typically derived from the query alone: it explains what the query describes, but not what the retriever misunderstands. We argue that effective retrieval reasoning should instead be conditioned on retrieval feedback. Based on this insight, we introduce UniME-R1, an embedder-adviser framework that learns to reason over initially retrieved candidates and generate Retrieval-Centric Chain-of-Thought (RC-CoT). The adviser analyzes candidates individually to identify the discriminative cues confused by the embedder. If the target appears in the initial top-k set, UniME-R1 directly reranks the candidates; otherwise, it generates RC-CoT to refine the retrieval direction and performs full-corpus re-retrieval with a dual-mode embedder. To train the framework, we mine hard negatives to simulate realistic retrieval failures, jointly optimize direct retrieval and RC-CoT-augmented retrieval, and align the adviser with retrieval outcomes through supervised learning and retrieval-oriented reinforcement learning. Extensive experiments on MMEB-V2 and a diverse set of general multimodal retrieval benchmarks demonstrate that UniME-R1 consistently improves retrieval performance over strong baselines.

실패로부터 배우기: 통합 멀티모달 검색을 위한 하드 네거티브 기반 검색 중심 사고 사슬(CoT) 본 논문은 CVPR 2025에 게재가 확정되었습니다.

Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval

초록