RBench-V : Une évaluation primaire pour les modèles de raisonnement visuel avec sorties multi-modales

RBench-V: A Primary Assessment for Visual Reasoning Models with Multi-modal Outputs

May 22, 2025

Auteurs: Meng-Hao Guo, Xuanyu Chu, Qianrui Yang, Zhe-Han Mo, Yiqing Shen, Pei-lin Li, Xinjie Lin, Jinnian Zhang, Xin-Sheng Chen, Yi Zhang, Kiyohiro Nakayama, Zhengyang Geng, Houwen Peng, Han Hu, Shi-Nin Hu

cs.AI

Résumé

L'avancée rapide des modèles multi-modaux natifs et des modèles omni-modaux, illustrée par GPT-4o, Gemini et o3, avec leur capacité à traiter et générer du contenu à travers des modalités telles que le texte et les images, marque une étape significative dans l'évolution de l'intelligence. L'évaluation systématique de leurs capacités de sortie multi-modales dans les processus de pensée visuelle (également appelée chaîne de pensée multi-modale, M-CoT) devient d'une importance cruciale. Cependant, les benchmarks existants pour évaluer les modèles multi-modaux se concentrent principalement sur l'évaluation des entrées multi-modales et du raisonnement textuel, tout en négligeant l'importance du raisonnement à travers les sorties multi-modales. Dans cet article, nous présentons un benchmark, nommé RBench-V, conçu pour évaluer les capacités de raisonnement visuel indispensable des modèles. Pour construire RBench-V, nous avons soigneusement sélectionné 803 questions couvrant les mathématiques, la physique, le dénombrement et les jeux. Contrairement aux benchmarks précédents qui spécifient généralement certaines modalités d'entrée, RBench-V présente des problèmes centrés sur les sorties multi-modales, qui nécessitent la manipulation d'images telles que la génération de nouvelles images et la construction de lignes auxiliaires pour soutenir le processus de raisonnement. Nous évaluons de nombreux modèles open-source et propriétaires sur RBench-V, y compris o3, Gemini 2.5 Pro, Qwen2.5-VL, etc. Même le modèle le plus performant, o3, n'atteint qu'une précision de 25,8 % sur RBench-V, bien en dessous du score humain de 82,3 %, soulignant que les modèles actuels peinent à exploiter le raisonnement multi-modal. Les données et le code sont disponibles à l'adresse https://evalmodels.github.io/rbenchv.

English

The rapid advancement of native multi-modal models and omni-models, exemplified by GPT-4o, Gemini, and o3, with their capability to process and generate content across modalities such as text and images, marks a significant milestone in the evolution of intelligence. Systematic evaluation of their multi-modal output capabilities in visual thinking processes (also known as multi-modal chain of thought, M-CoT) becomes critically important. However, existing benchmarks for evaluating multi-modal models primarily focus on assessing multi-modal inputs and text-only reasoning while neglecting the importance of reasoning through multi-modal outputs. In this paper, we present a benchmark, dubbed RBench-V, designed to assess models' vision-indispensable reasoning abilities. To construct RBench-V, we carefully hand-pick 803 questions covering math, physics, counting, and games. Unlike previous benchmarks that typically specify certain input modalities, RBench-V presents problems centered on multi-modal outputs, which require image manipulation such as generating novel images and constructing auxiliary lines to support the reasoning process. We evaluate numerous open- and closed-source models on RBench-V, including o3, Gemini 2.5 Pro, Qwen2.5-VL, etc. Even the best-performing model, o3, achieves only 25.8% accuracy on RBench-V, far below the human score of 82.3%, highlighting that current models struggle to leverage multi-modal reasoning. Data and code are available at https://evalmodels.github.io/rbenchv