MMSearch-R1: Anreize für LMMs zur Suche

Zusammenfassung

Die robuste Bereitstellung großer multimodaler Modelle (LMMs) in realen Anwendungsszenarien erfordert den Zugriff auf externe Wissensquellen, angesichts der Komplexität und Dynamik realweltlicher Informationen. Bestehende Ansätze wie retrieval-augmented generation (RAG) und prompt-gesteuerte Suchagenten basieren auf starren Pipelines, was häufig zu ineffizientem oder übermäßigem Suchverhalten führt. Wir präsentieren MMSearch-R1, das erste End-to-End-Reinforcement-Learning-Framework, das LMMs ermöglicht, bedarfsgerechte, mehrstufige Suchen in realen Internetumgebungen durchzuführen. Unser Framework integriert sowohl Bild- als auch Textsuchwerkzeuge und ermöglicht es dem Modell, zu entscheiden, wann und wie diese aufgerufen werden sollen, geleitet durch eine ergebnisbasierte Belohnung mit einer Suchstrafe. Zur Unterstützung des Trainings sammeln wir einen multimodalen Such-VQA-Datensatz durch eine halbautomatisierte Pipeline, die diverse visuelle und textuelle Wissensanforderungen abdeckt, und kuratieren eine suchausgewogene Teilmenge mit sowohl suchpflichtigen als auch suchfreien Beispielen, die sich als entscheidend für die Formung effizienten und bedarfsgerechten Suchverhaltens erweist. Umfangreiche Experimente zu wissensintensiven und informationssuchenden VQA-Aufgaben zeigen, dass unser Modell nicht nur RAG-basierte Baselines gleicher Modellgröße übertrifft, sondern auch die Leistung eines größeren RAG-basierten Modells erreicht, während die Suchaufrufe um über 30 % reduziert werden. Wir analysieren weiterhin zentrale empirische Erkenntnisse, um umsetzbare Einblicke für die Weiterentwicklung der Forschung im Bereich der multimodalen Suche zu bieten.

English

Robust deployment of large multimodal models (LMMs) in real-world scenarios requires access to external knowledge sources, given the complexity and dynamic nature of real-world information. Existing approaches such as retrieval-augmented generation (RAG) and prompt engineered search agents rely on rigid pipelines, often leading to inefficient or excessive search behaviors. We present MMSearch-R1, the first end-to-end reinforcement learning framework that enables LMMs to perform on-demand, multi-turn search in real-world Internet environments. Our framework integrates both image and text search tools, allowing the model to reason about when and how to invoke them guided by an outcome-based reward with a search penalty. To support training, We collect a multimodal search VQA dataset through a semi-automated pipeline that covers diverse visual and textual knowledge needs and curate a search-balanced subset with both search-required and search-free samples, which proves essential for shaping efficient and on-demand search behavior. Extensive experiments on knowledge-intensive and info-seeking VQA tasks show that our model not only outperforms RAG-based baselines of the same model size, but also matches the performance of a larger RAG-based model while reducing search calls by over 30%. We further analyze key empirical findings to offer actionable insights for advancing research in multimodal search.

MMSearch-R1: Anreize für LMMs zur Suche

MMSearch-R1: Incentivizing LMMs to Search

Zusammenfassung

Support