マルチモーダルな大規模言語モデルの推論能力を向上させるための混合選好最適化

Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization

November 15, 2024

著者: Weiyun Wang, Zhe Chen, Wenhai Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Jinguo Zhu, Xizhou Zhu, Lewei Lu, Yu Qiao, Jifeng Dai

cs.AI

要旨

既存のオープンソースのマルチモーダル大規模言語モデル（MLLMs）は、一般的に、事前トレーニングと教師ありファインチューニングを含むトレーニングプロセスに従います。しかしながら、これらのモデルは分布シフトに苦しんでおり、特にChain-of-Thought（CoT）のパフォーマンスにおいて、そのマルチモーダル推論能力が制限されています。これを解決するために、私たちはマルチモーダル推論能力を向上させるための好み最適化（PO）プロセスを導入します。具体的には、（1）データ側では、高品質で大規模なマルチモーダル推論好みデータセットであるMMPRを作成するための自動化された好みデータ構築パイプラインを設計し、（2）モデル側では、POをMLLMsと統合することを探求し、Mixed Preference Optimization（MPO）と呼ばれるシンプルかつ効果的な手法を開発し、マルチモーダルCoTパフォーマンスを向上させます。私たちのアプローチは、特にマルチモーダル推論タスクにおいて、複数のベンチマークで改善されたパフォーマンスを示しています。特に、当社のモデルであるInternVL2-8B-MPOは、MathVistaにおいて67.0の精度を達成し、InternVL2-8Bを8.7ポイント上回り、10倍大きなInternVL2-76Bと同等のパフォーマンスを達成しています。この研究がMLLMsにおけるさらなる進歩を促すことを願っています。コード、データ、モデルは公開されます。

English

Existing open-source multimodal large language models (MLLMs) generally follow a training process involving pre-training and supervised fine-tuning. However, these models suffer from distribution shifts, which limit their multimodal reasoning, particularly in the Chain-of-Thought (CoT) performance. To address this, we introduce a preference optimization (PO) process to enhance the multimodal reasoning capabilities of MLLMs. Specifically, (1) on the data side, we design an automated preference data construction pipeline to create MMPR, a high-quality, large-scale multimodal reasoning preference dataset. and (2) on the model side, we explore integrating PO with MLLMs, developing a simple yet effective method, termed Mixed Preference Optimization (MPO), which boosts multimodal CoT performance. Our approach demonstrates improved performance across multiple benchmarks, particularly in multimodal reasoning tasks. Notably, our model, InternVL2-8B-MPO, achieves an accuracy of 67.0 on MathVista, outperforming InternVL2-8B by 8.7 points and achieving performance comparable to the 10x larger InternVL2-76B. We hope this study could inspire further advancements in MLLMs. Code, data, and model shall be publicly released.