Multimodal RewardBench 2: Evaluación de Modelos de Recompensa Omni para Texto e Imágenes Entrelazados
Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image
December 18, 2025
Autores: Yushi Hu, Reyhane Askari-Hemmat, Melissa Hall, Emily Dinan, Luke Zettlemoyer, Marjan Ghazvininejad
cs.AI
Resumen
Los modelos de recompensa (RMs) son esenciales para entrenar modelos de lenguaje grandes (LLMs), pero siguen siendo poco explorados para los modelos omni que manejan secuencias intercaladas de imágenes y texto. Presentamos Multimodal RewardBench 2 (MMRB2), el primer benchmark integral para modelos de recompensa en comprensión multimodal y generación (intercalada). MMRB2 abarca cuatro tareas: texto-a-imagen, edición de imágenes, generación intercalada y razonamiento multimodal ("pensar-con-imágenes"), proporcionando 1.000 pares de preferencias anotados por expertos por tarea, provenientes de 23 modelos y agentes a través de 21 tareas fuente. MMRB2 está diseñado con: (1) instrucciones prácticas pero desafiantes; (2) respuestas de modelos y agentes de vanguardia; y (3) pares de preferencia con un fuerte consenso de expertos humanos, curados mediante una estrategia de filtrado por ensamblaje. Utilizando MMRB2, estudiamos los jueces existentes para cada subtarea, incluyendo el enfoque de LLM multimodal como juez y modelos entrenados con preferencias humanas. El último Gemini 3 Pro alcanza una precisión del 75-80%. GPT-5 y Gemini 2.5 Pro alcanzan una precisión del 66-75%, en comparación con >90% para los humanos, pero superan al ampliamente utilizado GPT-4o (59%). El modelo de código abierto con mejor rendimiento, Qwen3-VL-32B, logra precisiones similares a Gemini 2.5 Flash (64%). También demostramos que el rendimiento en MMRB2 se correlaciona fuertemente con el éxito en tareas posteriores utilizando el muestreo Best-of-N y realizamos un análisis en profundidad que muestra áreas clave para mejorar los modelos de recompensa en el futuro.
English
Reward models (RMs) are essential for training large language models (LLMs), but remain underexplored for omni models that handle interleaved image and text sequences. We introduce Multimodal RewardBench 2 (MMRB2), the first comprehensive benchmark for reward models on multimodal understanding and (interleaved) generation. MMRB2 spans four tasks: text-to-image, image editing, interleaved generation, and multimodal reasoning ("thinking-with-images"), providing 1,000 expert-annotated preference pairs per task from 23 models and agents across 21 source tasks. MMRB2 is designed with: (1) practical but challenging prompts; (2) responses from state-of-the-art models and agents; and (3) preference pairs with strong human-expert consensus, curated via an ensemble filtering strategy. Using MMRB2, we study existing judges for each subtask, including multimodal LLM-as-a-judge and models trained with human preferences. The latest Gemini 3 Pro attains 75-80% accuracy. GPT-5 and Gemini 2.5 Pro reach 66-75% accuracy, compared to >90% for humans, yet surpass the widely used GPT-4o (59%). The best performing open-source model Qwen3-VL-32B achieves similar accuracies as Gemini 2.5 Flash (64%). We also show that MMRB2 performance strongly correlates with downstream task success using Best-of-N sampling and conduct an in-depth analysis that shows key areas to improve the reward models going forward.