Aprimorando a Capacidade de Raciocínio de Modelos de Linguagem Multimodais de Grande Escala por meio da Otimização de Preferência Mista

Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization

November 15, 2024

Autores: Weiyun Wang, Zhe Chen, Wenhai Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Jinguo Zhu, Xizhou Zhu, Lewei Lu, Yu Qiao, Jifeng Dai

cs.AI

Resumo

Os modelos de linguagem multimodais de grande escala (MLLMs) de código aberto existentes geralmente seguem um processo de treinamento envolvendo pré-treinamento e ajuste fino supervisionado. No entanto, esses modelos sofrem com mudanças de distribuição, o que limita seu raciocínio multimodal, especialmente no desempenho da Cadeia de Pensamento (CoT). Para lidar com isso, introduzimos um processo de otimização de preferência (PO) para aprimorar as capacidades de raciocínio multimodal dos MLLMs. Especificamente, (1) no lado dos dados, projetamos um pipeline de construção de dados de preferência automatizado para criar MMPR, um conjunto de dados de preferência de raciocínio multimodal de alta qualidade e em grande escala, e (2) no lado do modelo, exploramos a integração do PO com MLLMs, desenvolvendo um método simples, porém eficaz, denominado Otimização de Preferência Mista (MPO), que melhora o desempenho multimodal da CoT. Nossa abordagem demonstra um desempenho aprimorado em vários benchmarks, especialmente em tarefas de raciocínio multimodal. Notavelmente, nosso modelo, InternVL2-8B-MPO, alcança uma precisão de 67,0 no MathVista, superando o InternVL2-8B em 8,7 pontos e alcançando um desempenho comparável ao InternVL2-76B, que é 10 vezes maior. Esperamos que este estudo possa inspirar avanços adicionais nos MLLMs. O código, os dados e o modelo serão disponibilizados publicamente.

English

Existing open-source multimodal large language models (MLLMs) generally follow a training process involving pre-training and supervised fine-tuning. However, these models suffer from distribution shifts, which limit their multimodal reasoning, particularly in the Chain-of-Thought (CoT) performance. To address this, we introduce a preference optimization (PO) process to enhance the multimodal reasoning capabilities of MLLMs. Specifically, (1) on the data side, we design an automated preference data construction pipeline to create MMPR, a high-quality, large-scale multimodal reasoning preference dataset. and (2) on the model side, we explore integrating PO with MLLMs, developing a simple yet effective method, termed Mixed Preference Optimization (MPO), which boosts multimodal CoT performance. Our approach demonstrates improved performance across multiple benchmarks, particularly in multimodal reasoning tasks. Notably, our model, InternVL2-8B-MPO, achieves an accuracy of 67.0 on MathVista, outperforming InternVL2-8B by 8.7 points and achieving performance comparable to the 10x larger InternVL2-76B. We hope this study could inspire further advancements in MLLMs. Code, data, and model shall be publicly released.