Multimodal RewardBench 2: Het evalueren van omnibeloningsmodellen voor geïnterleefde tekst en afbeeldingen
Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image
December 18, 2025
Auteurs: Yushi Hu, Reyhane Askari-Hemmat, Melissa Hall, Emily Dinan, Luke Zettlemoyer, Marjan Ghazvininejad
cs.AI
Samenvatting
Beloningsmodellen (RMs) zijn essentieel voor het trainen van grote taalmodellen (LLM's), maar blijven onderbelicht voor omnimodellen die interleavende afbeelding- en tekstsequenties verwerken. Wij introduceren Multimodal RewardBench 2 (MMRB2), de eerste uitgebreide benchmark voor beloningsmodellen op het gebied van multimodale interpretatie en (interleavende) generatie. MMRB2 omvat vier taken: tekst-naar-afbeelding, beeldbewerking, interleavende generatie en multimodaal redeneren ("denken-met-afbeeldingen"), en biedt per taak 1.000 door experts geannoteerde voorkeursparen van 23 modellen en agentschappen uit 21 brontaken. MMRB2 is ontworpen met: (1) praktische maar uitdagende prompts; (2) reacties van state-of-the-art modellen en agentschappen; en (3) voorkeursparen met een sterke consensus onder menselijke experts, samengesteld via een ensemble-filterstrategie. Met MMRB2 bestuderen we bestaande beoordelaars voor elke subtaak, waaronder multimodale LLM-as-a-judge en modellen getraind met menselijke voorkeuren. De nieuwste Gemini 3 Pro behaalt een nauwkeurigheid van 75-80%. GPT-5 en Gemini 2.5 Pro bereiken een nauwkeurigheid van 66-75%, vergeleken met >90% voor mensen, maar overtreffen het veelgebruikte GPT-4o (59%). Het best presterende open-source model Qwen3-VL-32B behaalt vergelijkbare nauwkeurigheden als Gemini 2.5 Flash (64%). We tonen ook aan dat de MMRB2-prestatie sterk correleert met het succes van downstreamtaken bij gebruik van Best-of-N sampling en voeren een diepgaande analyse uit die belangrijke verbeteringsgebieden voor toekomstige beloningsmodellen identificeert.
English
Reward models (RMs) are essential for training large language models (LLMs), but remain underexplored for omni models that handle interleaved image and text sequences. We introduce Multimodal RewardBench 2 (MMRB2), the first comprehensive benchmark for reward models on multimodal understanding and (interleaved) generation. MMRB2 spans four tasks: text-to-image, image editing, interleaved generation, and multimodal reasoning ("thinking-with-images"), providing 1,000 expert-annotated preference pairs per task from 23 models and agents across 21 source tasks. MMRB2 is designed with: (1) practical but challenging prompts; (2) responses from state-of-the-art models and agents; and (3) preference pairs with strong human-expert consensus, curated via an ensemble filtering strategy. Using MMRB2, we study existing judges for each subtask, including multimodal LLM-as-a-judge and models trained with human preferences. The latest Gemini 3 Pro attains 75-80% accuracy. GPT-5 and Gemini 2.5 Pro reach 66-75% accuracy, compared to >90% for humans, yet surpass the widely used GPT-4o (59%). The best performing open-source model Qwen3-VL-32B achieves similar accuracies as Gemini 2.5 Flash (64%). We also show that MMRB2 performance strongly correlates with downstream task success using Best-of-N sampling and conduct an in-depth analysis that shows key areas to improve the reward models going forward.