マルチモーダル自己指導：言語モデルを用いた合成抽象画像と視覚的推論の指示生成

Multimodal Self-Instruct: Synthetic Abstract Image and Visual Reasoning Instruction Using Language Model

July 9, 2024

著者: Wenqi Zhang, Zhenglin Cheng, Yuanyu He, Mengna Wang, Yongliang Shen, Zeqi Tan, Guiyang Hou, Mingqian He, Yanna Ma, Weiming Lu, Yueting Zhuang

cs.AI

要旨

現在の大規模マルチモーダルモデル（LMM）の多くは、自然風景や肖像画の写真を理解できるものの、チャート、地図、レイアウトなどの抽象的な画像や視覚的推論能力はまだ非常に初歩的です。時計で時間を読む、フローチャートを理解する、道路地図を使ってルートを計画するといった日常的な簡単なタスクにも苦戦しています。この問題を踏まえ、我々は大規模言語モデルとそのコード生成能力を活用し、日常的なシナリオに基づいて大量の抽象画像と視覚的推論指示を合成するマルチモーダル自己指導手法を設計しました。この戦略により、チャート、表、シミュレーションマップ、ダッシュボード、フローチャート、関係グラフ、間取り図、視覚パズルの8つの視覚シナリオに対応する11,193の指示を含むマルチモーダルベンチマークを容易に作成しました。このベンチマークは、単純な線や幾何学的要素で構成されており、Claude-3.5-SonnetやGPT-4oなどの最先端LMMが、抽象的な画像理解、空間関係の推論、視覚要素の帰納において抱える課題を浮き彫りにしています。さらに、合成データの品質を検証するため、62,476の合成チャート、表、道路地図の指示を用いてLMMをファインチューニングしました。その結果、チャート理解と地図ナビゲーションの性能が向上し、他の視覚的推論タスクにも潜在的な利点があることが示されました。コードは以下で公開しています: https://github.com/zwq2018/Multi-modal-Self-instruct。

English

Although most current large multimodal models (LMMs) can already understand photos of natural scenes and portraits, their understanding of abstract images, e.g., charts, maps, or layouts, and visual reasoning capabilities remains quite rudimentary. They often struggle with simple daily tasks, such as reading time from a clock, understanding a flowchart, or planning a route using a road map. In light of this, we design a multi-modal self-instruct, utilizing large language models and their code capabilities to synthesize massive abstract images and visual reasoning instructions across daily scenarios. Our strategy effortlessly creates a multimodal benchmark with 11,193 instructions for eight visual scenarios: charts, tables, simulated maps, dashboards, flowcharts, relation graphs, floor plans, and visual puzzles. This benchmark, constructed with simple lines and geometric elements, exposes the shortcomings of most advanced LMMs like Claude-3.5-Sonnet and GPT-4o in abstract image understanding, spatial relations reasoning, and visual element induction. Besides, to verify the quality of our synthetic data, we fine-tune an LMM using 62,476 synthetic chart, table and road map instructions. The results demonstrate improved chart understanding and map navigation performance, and also demonstrate potential benefits for other visual reasoning tasks. Our code is available at: https://github.com/zwq2018/Multi-modal-Self-instruct.