InternLM-XComposer2.5-Reward: un modelo de recompensa multimodal simple pero efectivo

InternLM-XComposer2.5-Reward: A Simple Yet Effective Multi-Modal Reward Model

January 21, 2025

Autores: Yuhang Zang, Xiaoyi Dong, Pan Zhang, Yuhang Cao, Ziyu Liu, Shengyuan Ding, Shenxi Wu, Yubo Ma, Haodong Duan, Wenwei Zhang, Kai Chen, Dahua Lin, Jiaqi Wang

cs.AI

Resumen

A pesar del rendimiento prometedor de los Modelos de Lenguaje de Visión Amplia (LVLMs) en la comprensión visual, ocasionalmente generan salidas incorrectas. Si bien los modelos de recompensa (RMs) con aprendizaje por refuerzo o escalado en tiempo de prueba ofrecen el potencial de mejorar la calidad de generación, aún existe una brecha crítica: los RMs multi-modales públicamente disponibles para LVLMs son escasos, y los detalles de implementación de los modelos propietarios a menudo no están claros. Nosotros cerramos esta brecha con InternLM-XComposer2.5-Reward (IXC-2.5-Reward), un modelo de recompensa multi-modal simple pero efectivo que alinea los LVLMs con las preferencias humanas. Para garantizar la robustez y versatilidad de IXC-2.5-Reward, creamos un corpus de preferencias multi-modales de alta calidad que abarca entradas de texto, imagen y video en diversos dominios, como seguimiento de instrucciones, comprensión general, documentos ricos en texto, razonamiento matemático y comprensión de video. IXC-2.5-Reward logra excelentes resultados en el último benchmark de modelos de recompensa multi-modales y muestra un rendimiento competitivo en los benchmarks de modelos de recompensa solo de texto. Además, demostramos tres aplicaciones clave de IXC-2.5-Reward: (1) Proporcionar una señal de supervisión para el entrenamiento de RL. Integramos IXC-2.5-Reward con la Optimización de Política Proximal (PPO) lo que resulta en IXC-2.5-Chat, que muestra mejoras consistentes en el seguimiento de instrucciones y diálogo multi-modal abierto; (2) Seleccionar la mejor respuesta de entre las respuestas candidatas para el escalado en tiempo de prueba; y (3) Filtrar muestras atípicas o ruidosas de datos de entrenamiento existentes de ajuste de instrucciones de imagen y video. Para garantizar la reproducibilidad y facilitar futuras investigaciones, hemos compartido públicamente todos los pesos del modelo y las recetas de entrenamiento en https://github.com/InternLM/InternLM-XComposer.

English

Despite the promising performance of Large Vision Language Models (LVLMs) in visual understanding, they occasionally generate incorrect outputs. While reward models (RMs) with reinforcement learning or test-time scaling offer the potential for improving generation quality, a critical gap remains: publicly available multi-modal RMs for LVLMs are scarce, and the implementation details of proprietary models are often unclear. We bridge this gap with InternLM-XComposer2.5-Reward (IXC-2.5-Reward), a simple yet effective multi-modal reward model that aligns LVLMs with human preferences. To ensure the robustness and versatility of IXC-2.5-Reward, we set up a high-quality multi-modal preference corpus spanning text, image, and video inputs across diverse domains, such as instruction following, general understanding, text-rich documents, mathematical reasoning, and video understanding. IXC-2.5-Reward achieves excellent results on the latest multi-modal reward model benchmark and shows competitive performance on text-only reward model benchmarks. We further demonstrate three key applications of IXC-2.5-Reward: (1) Providing a supervisory signal for RL training. We integrate IXC-2.5-Reward with Proximal Policy Optimization (PPO) yields IXC-2.5-Chat, which shows consistent improvements in instruction following and multi-modal open-ended dialogue; (2) Selecting the best response from candidate responses for test-time scaling; and (3) Filtering outlier or noisy samples from existing image and video instruction tuning training data. To ensure reproducibility and facilitate further research, we have open-sourced all model weights and training recipes at https://github.com/InternLM/InternLM-XComposer