MMSearch-R1: Het stimuleren van LMM's om te zoeken

Samenvatting

Robuste inzet van grote multimodale modellen (LMMs) in real-world scenario's vereist toegang tot externe kennisbronnen, gezien de complexiteit en dynamische aard van real-world informatie. Bestaande benaderingen zoals retrieval-augmented generation (RAG) en prompt-engineered zoekagentschappen vertrouwen op rigide pijplijnen, wat vaak leidt tot inefficiënt of excessief zoekgedrag. Wij presenteren MMSearch-R1, het eerste end-to-end reinforcement learning-framework dat LMMs in staat stelt om on-demand, multi-turn zoekopdrachten uit te voeren in real-world internetomgevingen. Ons framework integreert zowel beeld- als tekstzoektools, waardoor het model kan redeneren over wanneer en hoe deze aan te roepen, geleid door een uitkomstgebaseerde beloning met een zoekstraf. Om de training te ondersteunen, verzamelen we een multimodaal zoek-VQA-dataset via een semi-geautomatiseerde pijplijn die diverse visuele en tekstuele kennisbehoeften dekt, en cureren we een zoek-gebalanceerde subset met zowel zoek-vereiste als zoekvrije samples, wat essentieel blijkt voor het vormen van efficiënt en on-demand zoekgedrag. Uitgebreide experimenten op kennisintensieve en informatiezoekende VQA-taken tonen aan dat ons model niet alleen RAG-gebaseerde baselines van dezelfde modelgrootte overtreft, maar ook de prestaties van een groter RAG-gebaseerd model evenaart terwijl het zoekopdrachten met meer dan 30% vermindert. We analyseren verder belangrijke empirische bevindingen om actiegerichte inzichten te bieden voor het bevorderen van onderzoek in multimodaal zoeken.

English

Robust deployment of large multimodal models (LMMs) in real-world scenarios requires access to external knowledge sources, given the complexity and dynamic nature of real-world information. Existing approaches such as retrieval-augmented generation (RAG) and prompt engineered search agents rely on rigid pipelines, often leading to inefficient or excessive search behaviors. We present MMSearch-R1, the first end-to-end reinforcement learning framework that enables LMMs to perform on-demand, multi-turn search in real-world Internet environments. Our framework integrates both image and text search tools, allowing the model to reason about when and how to invoke them guided by an outcome-based reward with a search penalty. To support training, We collect a multimodal search VQA dataset through a semi-automated pipeline that covers diverse visual and textual knowledge needs and curate a search-balanced subset with both search-required and search-free samples, which proves essential for shaping efficient and on-demand search behavior. Extensive experiments on knowledge-intensive and info-seeking VQA tasks show that our model not only outperforms RAG-based baselines of the same model size, but also matches the performance of a larger RAG-based model while reducing search calls by over 30%. We further analyze key empirical findings to offer actionable insights for advancing research in multimodal search.

MMSearch-R1: Het stimuleren van LMM's om te zoeken

MMSearch-R1: Incentivizing LMMs to Search

Samenvatting

Support