Mejora de la capacidad de razonamiento de modelos de lenguaje multimodales grandes a través de la optimización de preferencias mixtas.

Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization

November 15, 2024

Autores: Weiyun Wang, Zhe Chen, Wenhai Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Jinguo Zhu, Xizhou Zhu, Lewei Lu, Yu Qiao, Jifeng Dai

cs.AI

Resumen

Los modelos de lenguaje multimodales grandes de código abierto (MLLMs) existentes generalmente siguen un proceso de entrenamiento que implica pre-entrenamiento y ajuste fino supervisado. Sin embargo, estos modelos sufren de desplazamientos de distribución, que limitan su razonamiento multimodal, particularmente en el rendimiento de la Cadena de Pensamiento (CoT). Para abordar esto, introducimos un proceso de optimización de preferencias (PO) para mejorar las capacidades de razonamiento multimodal de los MLLMs. Específicamente, (1) en el lado de los datos, diseñamos un canal automatizado de construcción de datos de preferencias para crear MMPR, un conjunto de datos de preferencias de razonamiento multimodal a gran escala y de alta calidad, y (2) en el lado del modelo, exploramos la integración de PO con MLLMs, desarrollando un método simple pero efectivo, denominado Optimización de Preferencias Mixtas (MPO), que mejora el rendimiento de CoT multimodal. Nuestro enfoque demuestra un rendimiento mejorado en múltiples pruebas, especialmente en tareas de razonamiento multimodal. Notablemente, nuestro modelo, InternVL2-8B-MPO, logra una precisión del 67.0 en MathVista, superando a InternVL2-8B en 8.7 puntos y logrando un rendimiento comparable al InternVL2-76B, que es 10 veces más grande. Esperamos que este estudio pueda inspirar nuevos avances en los MLLMs. El código, los datos y el modelo serán públicamente liberados.

English

Existing open-source multimodal large language models (MLLMs) generally follow a training process involving pre-training and supervised fine-tuning. However, these models suffer from distribution shifts, which limit their multimodal reasoning, particularly in the Chain-of-Thought (CoT) performance. To address this, we introduce a preference optimization (PO) process to enhance the multimodal reasoning capabilities of MLLMs. Specifically, (1) on the data side, we design an automated preference data construction pipeline to create MMPR, a high-quality, large-scale multimodal reasoning preference dataset. and (2) on the model side, we explore integrating PO with MLLMs, developing a simple yet effective method, termed Mixed Preference Optimization (MPO), which boosts multimodal CoT performance. Our approach demonstrates improved performance across multiple benchmarks, particularly in multimodal reasoning tasks. Notably, our model, InternVL2-8B-MPO, achieves an accuracy of 67.0 on MathVista, outperforming InternVL2-8B by 8.7 points and achieving performance comparable to the 10x larger InternVL2-76B. We hope this study could inspire further advancements in MLLMs. Code, data, and model shall be publicly released.