MAmmoTH-VL: スケールでの指示調整によるマルチモーダル推論の引き出し

MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale

December 6, 2024

著者: Jarvis Guo, Tuney Zheng, Yuelin Bai, Bo Li, Yubo Wang, King Zhu, Yizhi Li, Graham Neubig, Wenhu Chen, Xiang Yue

cs.AI

要旨

オープンソースのマルチモーダル大規模言語モデル（MLLMs）は、さまざまなマルチモーダルタスクで著しい潜在能力を示しています。しかし、既存の指示チューニングデータセットによってその推論能力が制約されており、これらのデータセットは主にVQA、AI2D、ChartQAなどの学術データセットから再利用されています。これらのデータセットは単純なタスクを対象としており、中間の合理的根拠を提供せず、フレーズレベルの回答のみを提供しています。これらの課題に対処するために、CoT推論を誘発するために設計された豊富な中間根拠を持つ大規模なマルチモーダル指示チューニングデータセットを構築するためのスケーラブルで費用対効果の高い方法を紹介します。オープンモデルのみを使用して、多様な推論集中タスクをカバーするために、詳細で忠実な根拠を持つ12Mの指示-応答ペアを含むデータセットを作成します。実験では、このデータセットでMLLMsをトレーニングすることで推論能力が著しく向上し、MathVerse（+8.1%）、MMMU-Pro（+7%）、MuirBench（+13.3%）などのベンチマークで最先端のパフォーマンスが達成されることが示されます。さらに、モデルは非推論ベースのベンチマークで最大4%の改善を示します。削除研究は、データセット構築プロセスにおける書き換えや自己フィルタリングなどの重要な要素の重要性をさらに強調しています。

English

Open-source multimodal large language models (MLLMs) have shown significant potential in a broad range of multimodal tasks. However, their reasoning capabilities remain constrained by existing instruction-tuning datasets, which were predominately repurposed from academic datasets such as VQA, AI2D, and ChartQA. These datasets target simplistic tasks, and only provide phrase-level answers without any intermediate rationales. To address these challenges, we introduce a scalable and cost-effective method to construct a large-scale multimodal instruction-tuning dataset with rich intermediate rationales designed to elicit CoT reasoning. Using only open models, we create a dataset containing 12M instruction-response pairs to cover diverse, reasoning-intensive tasks with detailed and faithful rationales. Experiments demonstrate that training MLLMs on this dataset significantly improves reasoning capabilities, achieving state-of-the-art performance on benchmarks such as MathVerse (+8.1%), MMMU-Pro (+7%), and MuirBench (+13.3%). Additionally, the model demonstrates notable improvements of up to 4% on non-reasoning-based benchmarks. Ablation studies further highlight the importance of key components, such as rewriting and self-filtering, in the dataset construction process.