RBench-V: マルチモーダル出力を伴う視覚的推論モデルのための主要評価基準

RBench-V: A Primary Assessment for Visual Reasoning Models with Multi-modal Outputs

May 22, 2025

著者: Meng-Hao Guo, Xuanyu Chu, Qianrui Yang, Zhe-Han Mo, Yiqing Shen, Pei-lin Li, Xinjie Lin, Jinnian Zhang, Xin-Sheng Chen, Yi Zhang, Kiyohiro Nakayama, Zhengyang Geng, Houwen Peng, Han Hu, Shi-Nin Hu

cs.AI

要旨

GPT-4o、Gemini、o3などのネイティブマルチモーダルモデルやオムニモデルの急速な進展は、テキストや画像などのモダリティを横断してコンテンツを処理・生成する能力を備えており、知能の進化における重要なマイルストーンを示しています。視覚的思考プロセス（マルチモーダル連鎖思考、M-CoTとも呼ばれる）におけるこれらのモデルのマルチモーダル出力能力を体系的に評価することが極めて重要です。しかし、既存のマルチモーダルモデル評価のベンチマークは、主にマルチモーダル入力とテキストのみの推論に焦点を当てており、マルチモーダル出力を通じた推論の重要性を見落としています。本論文では、モデルの視覚不可欠な推論能力を評価するために設計されたベンチマーク「RBench-V」を提案します。RBench-Vを構築するために、数学、物理、計数、ゲームをカバーする803の質問を慎重に選定しました。従来のベンチマークが特定の入力モダリティを指定するのに対し、RBench-Vは、新しい画像の生成や補助線の構築など、画像操作を必要とするマルチモーダル出力を中心とした問題を提示します。o3、Gemini 2.5 Pro、Qwen2.5-VLなど、多数のオープンソースおよびクローズドソースモデルをRBench-Vで評価しました。最も性能の高いモデルであるo3でさえ、RBench-Vでの精度は25.8%に留まり、人間のスコア82.3%を大きく下回り、現在のモデルがマルチモーダル推論を活用するのに苦労していることが明らかになりました。データとコードはhttps://evalmodels.github.io/rbenchvで公開されています。

English

The rapid advancement of native multi-modal models and omni-models, exemplified by GPT-4o, Gemini, and o3, with their capability to process and generate content across modalities such as text and images, marks a significant milestone in the evolution of intelligence. Systematic evaluation of their multi-modal output capabilities in visual thinking processes (also known as multi-modal chain of thought, M-CoT) becomes critically important. However, existing benchmarks for evaluating multi-modal models primarily focus on assessing multi-modal inputs and text-only reasoning while neglecting the importance of reasoning through multi-modal outputs. In this paper, we present a benchmark, dubbed RBench-V, designed to assess models' vision-indispensable reasoning abilities. To construct RBench-V, we carefully hand-pick 803 questions covering math, physics, counting, and games. Unlike previous benchmarks that typically specify certain input modalities, RBench-V presents problems centered on multi-modal outputs, which require image manipulation such as generating novel images and constructing auxiliary lines to support the reasoning process. We evaluate numerous open- and closed-source models on RBench-V, including o3, Gemini 2.5 Pro, Qwen2.5-VL, etc. Even the best-performing model, o3, achieves only 25.8% accuracy on RBench-V, far below the human score of 82.3%, highlighting that current models struggle to leverage multi-modal reasoning. Data and code are available at https://evalmodels.github.io/rbenchv