Multimodal RewardBench 2: Valutazione di Modelli di Ricompensa Omni per Testo e Immagini Intervallati

Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image

December 18, 2025

Autori: Yushi Hu, Reyhane Askari-Hemmat, Melissa Hall, Emily Dinan, Luke Zettlemoyer, Marjan Ghazvininejad

cs.AI

Abstract

I modelli di reward (RMs) sono essenziali per l'addestramento di grandi modelli linguistici (LLMs), ma rimangono poco esplorati per i modelli omni che gestiscono sequenze interleave di immagini e testo. Introduciamo Multimodal RewardBench 2 (MMRB2), il primo benchmark completo per modelli di reward sulla comprensione multimodale e sulla generazione (interleave). MMRB2 copre quattro compiti: text-to-image, image editing, generazione interleave e ragionamento multimodale ("thinking-with-images"), fornendo 1.000 coppie di preferenze annotate da esperti per compito, provenienti da 23 modelli e agenti attraverso 21 task sorgente. MMRB2 è progettato con: (1) prompt pratici ma impegnativi; (2) risposte di modelli e agenti all'avanguardia; e (3) coppie di preferenze con un forte consenso di esperti umani, curate tramite una strategia di filtraggio ensemble. Utilizzando MMRB2, studiamo i giudici esistenti per ogni sottocompito, inclusi i multimodal LLM-as-a-judge e i modelli addestrati con preferenze umane. L'ultimo Gemini 3 Pro raggiunge un'accuratezza del 75-80%. GPT-5 e Gemini 2.5 Pro raggiungono un'accuratezza del 66-75%, rispetto a >90% per gli umani, ma superano il diffusamente utilizzato GPT-4o (59%). Il miglior modello open-source, Qwen3-VL-32B, raggiunge accuratezze simili a Gemini 2.5 Flash (64%). Mostriamo inoltre che le prestazioni su MMRB2 correlano fortemente con il successo sui task a valle utilizzando il Best-of-N sampling e conduciamo un'analisi approfondita che evidenzia le aree chiave su cui migliorare i modelli di reward in futuro.

English

Reward models (RMs) are essential for training large language models (LLMs), but remain underexplored for omni models that handle interleaved image and text sequences. We introduce Multimodal RewardBench 2 (MMRB2), the first comprehensive benchmark for reward models on multimodal understanding and (interleaved) generation. MMRB2 spans four tasks: text-to-image, image editing, interleaved generation, and multimodal reasoning ("thinking-with-images"), providing 1,000 expert-annotated preference pairs per task from 23 models and agents across 21 source tasks. MMRB2 is designed with: (1) practical but challenging prompts; (2) responses from state-of-the-art models and agents; and (3) preference pairs with strong human-expert consensus, curated via an ensemble filtering strategy. Using MMRB2, we study existing judges for each subtask, including multimodal LLM-as-a-judge and models trained with human preferences. The latest Gemini 3 Pro attains 75-80% accuracy. GPT-5 and Gemini 2.5 Pro reach 66-75% accuracy, compared to >90% for humans, yet surpass the widely used GPT-4o (59%). The best performing open-source model Qwen3-VL-32B achieves similar accuracies as Gemini 2.5 Flash (64%). We also show that MMRB2 performance strongly correlates with downstream task success using Best-of-N sampling and conduct an in-depth analysis that shows key areas to improve the reward models going forward.