InternLM-XComposer2.5-Récompense : un modèle de récompense multimodal simple mais efficace

Résumé

Malgré les performances prometteuses des Grands Modèles de Langage et de Vision (LVLM) dans la compréhension visuelle, ils génèrent parfois des sorties incorrectes. Alors que les modèles de récompense (RMs) avec l'apprentissage par renforcement ou l'ajustement à l'échelle au moment du test offrent le potentiel d'améliorer la qualité de génération, une lacune critique persiste : les RMs multimodaux disponibles publiquement pour les LVLM sont rares, et les détails de mise en œuvre des modèles propriétaires sont souvent peu clairs. Nous comblons cette lacune avec InternLM-XComposer2.5-Reward (IXC-2.5-Reward), un modèle de récompense multimodal simple mais efficace qui aligne les LVLM sur les préférences humaines. Pour garantir la robustesse et la polyvalence de l'IXC-2.5-Reward, nous avons mis en place un corpus de préférences multimodal de haute qualité couvrant des entrées textuelles, d'image et vidéo dans divers domaines, tels que le suivi des instructions, la compréhension générale, les documents riches en texte, le raisonnement mathématique et la compréhension vidéo. L'IXC-2.5-Reward obtient d'excellents résultats sur le dernier banc d'essai de modèles de récompense multimodaux et montre des performances compétitives sur les bancs d'essai de modèles de récompense textuels uniquement. Nous démontrons en outre trois applications clés de l'IXC-2.5-Reward : (1) Fournir un signal de supervision pour l'entraînement par RL. Nous intégrons l'IXC-2.5-Reward avec l'Optimisation de Politique Proximale (PPO) pour obtenir l'IXC-2.5-Chat, qui montre des améliorations constantes dans le suivi des instructions et le dialogue multimodal ouvert ; (2) Sélectionner la meilleure réponse parmi les réponses candidates pour l'ajustement à l'échelle au moment du test ; et (3) Filtrer les échantillons aberrants ou bruyants des données d'entraînement existantes pour l'ajustement des instructions d'image et de vidéo. Pour garantir la reproductibilité et faciliter les recherches ultérieures, nous avons rendu tous les poids des modèles et les recettes d'entraînement disponibles en open source sur https://github.com/InternLM/InternLM-XComposer.

English

Despite the promising performance of Large Vision Language Models (LVLMs) in visual understanding, they occasionally generate incorrect outputs. While reward models (RMs) with reinforcement learning or test-time scaling offer the potential for improving generation quality, a critical gap remains: publicly available multi-modal RMs for LVLMs are scarce, and the implementation details of proprietary models are often unclear. We bridge this gap with InternLM-XComposer2.5-Reward (IXC-2.5-Reward), a simple yet effective multi-modal reward model that aligns LVLMs with human preferences. To ensure the robustness and versatility of IXC-2.5-Reward, we set up a high-quality multi-modal preference corpus spanning text, image, and video inputs across diverse domains, such as instruction following, general understanding, text-rich documents, mathematical reasoning, and video understanding. IXC-2.5-Reward achieves excellent results on the latest multi-modal reward model benchmark and shows competitive performance on text-only reward model benchmarks. We further demonstrate three key applications of IXC-2.5-Reward: (1) Providing a supervisory signal for RL training. We integrate IXC-2.5-Reward with Proximal Policy Optimization (PPO) yields IXC-2.5-Chat, which shows consistent improvements in instruction following and multi-modal open-ended dialogue; (2) Selecting the best response from candidate responses for test-time scaling; and (3) Filtering outlier or noisy samples from existing image and video instruction tuning training data. To ensure reproducibility and facilitate further research, we have open-sourced all model weights and training recipes at https://github.com/InternLM/InternLM-XComposer

InternLM-XComposer2.5-Récompense : un modèle de récompense multimodal simple mais efficace

InternLM-XComposer2.5-Reward: A Simple Yet Effective Multi-Modal Reward Model

Résumé

Support