Повышение способности к рассуждениям мультимодальных крупных языковых моделей с помощью оптимизации смешанных предпочтений

Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization

November 15, 2024

Авторы: Weiyun Wang, Zhe Chen, Wenhai Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Jinguo Zhu, Xizhou Zhu, Lewei Lu, Yu Qiao, Jifeng Dai

cs.AI

Аннотация

Существующие открытые мультимодальные большие языковые модели (MLLM) обычно проходят процесс обучения, включающий предварительное обучение и надзорную донастройку. Однако эти модели страдают от сдвигов распределения, которые ограничивают их мультимодальное рассуждение, особенно в производительности Chain-of-Thought (CoT). Для решения этой проблемы мы представляем процесс оптимизации предпочтений (PO) для улучшения мультимодальных рассуждений MLLM. Конкретно, (1) с точки зрения данных мы разрабатываем автоматизированный конвейер построения данных предпочтений для создания MMPR, качественного и масштабного мультимодального набора данных предпочтений для рассуждений, и (2) с точки зрения модели мы исследуем интеграцию PO с MLLM, разрабатывая простой, но эффективный метод, названный Смешанная оптимизация предпочтений (MPO), который повышает производительность мультимодального CoT. Наш подход демонстрирует улучшенную производительность на нескольких показателях, особенно в задачах мультимодального рассуждения. Заметно, что наша модель, InternVL2-8B-MPO, достигает точности 67,0 на MathVista, превосходя InternVL2-8B на 8,7 пункта и достигая производительности, сравнимой с 10 раз большей InternVL2-76B. Мы надеемся, что данное исследование может вдохновить на дальнейшие усовершенствования в области MLLM. Код, данные и модель будут общедоступны.

English

Existing open-source multimodal large language models (MLLMs) generally follow a training process involving pre-training and supervised fine-tuning. However, these models suffer from distribution shifts, which limit their multimodal reasoning, particularly in the Chain-of-Thought (CoT) performance. To address this, we introduce a preference optimization (PO) process to enhance the multimodal reasoning capabilities of MLLMs. Specifically, (1) on the data side, we design an automated preference data construction pipeline to create MMPR, a high-quality, large-scale multimodal reasoning preference dataset. and (2) on the model side, we explore integrating PO with MLLMs, developing a simple yet effective method, termed Mixed Preference Optimization (MPO), which boosts multimodal CoT performance. Our approach demonstrates improved performance across multiple benchmarks, particularly in multimodal reasoning tasks. Notably, our model, InternVL2-8B-MPO, achieves an accuracy of 67.0 on MathVista, outperforming InternVL2-8B by 8.7 points and achieving performance comparable to the 10x larger InternVL2-76B. We hope this study could inspire further advancements in MLLMs. Code, data, and model shall be publicly released.