MMSearch-R1: Incentivare i Modelli Linguistici Multimodali alla Ricerca

MMSearch-R1: Incentivizing LMMs to Search

June 25, 2025

Autori: Jinming Wu, Zihao Deng, Wei Li, Yiding Liu, Bo You, Bo Li, Zejun Ma, Ziwei Liu

cs.AI

Abstract

Il dispiegamento robusto di grandi modelli multimodali (LMM) in scenari reali richiede l'accesso a fonti di conoscenza esterne, data la complessità e la natura dinamica delle informazioni del mondo reale. Gli approcci esistenti, come la generazione aumentata da recupero (RAG) e gli agenti di ricerca con prompt ingegnerizzati, si basano su pipeline rigide, spesso portando a comportamenti di ricerca inefficienti o eccessivi. Presentiamo MMSearch-R1, il primo framework end-to-end di apprendimento per rinforzo che consente agli LMM di eseguire ricerche su richiesta e multi-turn in ambienti Internet reali. Il nostro framework integra strumenti di ricerca sia per immagini che per testo, permettendo al modello di ragionare su quando e come invocarli guidato da una ricompensa basata sui risultati con una penalità per la ricerca. Per supportare l'addestramento, raccogliamo un dataset VQA di ricerca multimodale attraverso una pipeline semi-automatizzata che copre esigenze di conoscenza visiva e testuale diverse e curiamo un sottoinsieme bilanciato per la ricerca con campioni che richiedono ricerca e campioni che non la richiedono, il che si dimostra essenziale per modellare un comportamento di ricerca efficiente e su richiesta. Esperimenti estesi su task VQA ad alta intensità di conoscenza e di ricerca di informazioni mostrano che il nostro modello non solo supera le baseline basate su RAG della stessa dimensione del modello, ma eguaglia anche le prestazioni di un modello basato su RAG più grande riducendo le chiamate di ricerca di oltre il 30%. Analizziamo ulteriormente i risultati empirici chiave per offrire spunti pratici per avanzare la ricerca nella ricerca multimodale.

English

Robust deployment of large multimodal models (LMMs) in real-world scenarios requires access to external knowledge sources, given the complexity and dynamic nature of real-world information. Existing approaches such as retrieval-augmented generation (RAG) and prompt engineered search agents rely on rigid pipelines, often leading to inefficient or excessive search behaviors. We present MMSearch-R1, the first end-to-end reinforcement learning framework that enables LMMs to perform on-demand, multi-turn search in real-world Internet environments. Our framework integrates both image and text search tools, allowing the model to reason about when and how to invoke them guided by an outcome-based reward with a search penalty. To support training, We collect a multimodal search VQA dataset through a semi-automated pipeline that covers diverse visual and textual knowledge needs and curate a search-balanced subset with both search-required and search-free samples, which proves essential for shaping efficient and on-demand search behavior. Extensive experiments on knowledge-intensive and info-seeking VQA tasks show that our model not only outperforms RAG-based baselines of the same model size, but also matches the performance of a larger RAG-based model while reducing search calls by over 30%. We further analyze key empirical findings to offer actionable insights for advancing research in multimodal search.