InternLM-XComposer2.5-Reward: Um Modelo de Recompensa Multi-Modal Simples, porém Eficaz

InternLM-XComposer2.5-Reward: A Simple Yet Effective Multi-Modal Reward Model

January 21, 2025

Autores: Yuhang Zang, Xiaoyi Dong, Pan Zhang, Yuhang Cao, Ziyu Liu, Shengyuan Ding, Shenxi Wu, Yubo Ma, Haodong Duan, Wenwei Zhang, Kai Chen, Dahua Lin, Jiaqi Wang

cs.AI

Resumo

Apesar do desempenho promissor dos Grandes Modelos de Linguagem Visual (LVLMs) na compreensão visual, ocasionalmente geram saídas incorretas. Enquanto modelos de recompensa (RMs) com aprendizado por reforço ou escalonamento no momento do teste oferecem o potencial para melhorar a qualidade da geração, uma lacuna crítica permanece: os RMs multimodais publicamente disponíveis para LVLMs são escassos, e os detalhes de implementação dos modelos proprietários frequentemente são obscuros. Nós preenchemos essa lacuna com o InternLM-XComposer2.5-Reward (IXC-2.5-Reward), um modelo de recompensa multimodal simples, porém eficaz, que alinha LVLMs com preferências humanas. Para garantir a robustez e versatilidade do IXC-2.5-Reward, estabelecemos um corpus de preferência multimodal de alta qualidade abrangendo entradas de texto, imagem e vídeo em diversos domínios, como seguir instruções, compreensão geral, documentos ricos em texto, raciocínio matemático e compreensão de vídeo. O IXC-2.5-Reward alcança excelentes resultados no último benchmark de modelos de recompensa multimodais e mostra desempenho competitivo nos benchmarks de modelos de recompensa apenas de texto. Demonstramos ainda três aplicações-chave do IXC-2.5-Reward: (1) Fornecer um sinal de supervisão para o treinamento de RL. Integrar o IXC-2.5-Reward com a Otimização de Política Proximal (PPO) resulta no IXC-2.5-Chat, que apresenta melhorias consistentes no seguimento de instruções e diálogo multimodal aberto; (2) Selecionar a melhor resposta dentre as respostas candidatas para escalonamento no momento do teste; e (3) Filtrar amostras atípicas ou ruidosas dos dados de treinamento existentes de ajuste de instruções de imagem e vídeo. Para garantir a reprodutibilidade e facilitar pesquisas futuras, disponibilizamos todos os pesos do modelo e receitas de treinamento em código aberto em https://github.com/InternLM/InternLM-XComposer.

English

Despite the promising performance of Large Vision Language Models (LVLMs) in visual understanding, they occasionally generate incorrect outputs. While reward models (RMs) with reinforcement learning or test-time scaling offer the potential for improving generation quality, a critical gap remains: publicly available multi-modal RMs for LVLMs are scarce, and the implementation details of proprietary models are often unclear. We bridge this gap with InternLM-XComposer2.5-Reward (IXC-2.5-Reward), a simple yet effective multi-modal reward model that aligns LVLMs with human preferences. To ensure the robustness and versatility of IXC-2.5-Reward, we set up a high-quality multi-modal preference corpus spanning text, image, and video inputs across diverse domains, such as instruction following, general understanding, text-rich documents, mathematical reasoning, and video understanding. IXC-2.5-Reward achieves excellent results on the latest multi-modal reward model benchmark and shows competitive performance on text-only reward model benchmarks. We further demonstrate three key applications of IXC-2.5-Reward: (1) Providing a supervisory signal for RL training. We integrate IXC-2.5-Reward with Proximal Policy Optimization (PPO) yields IXC-2.5-Chat, which shows consistent improvements in instruction following and multi-modal open-ended dialogue; (2) Selecting the best response from candidate responses for test-time scaling; and (3) Filtering outlier or noisy samples from existing image and video instruction tuning training data. To ensure reproducibility and facilitate further research, we have open-sourced all model weights and training recipes at https://github.com/InternLM/InternLM-XComposer