ING-VP : Les MLLM ne peuvent pas encore jouer à des jeux simples basés sur la vision.

ING-VP: MLLMs cannot Play Easy Vision-based Games Yet

October 9, 2024

Auteurs: Haoran Zhang, Hangyu Guo, Shuyue Guo, Meng Cao, Wenhao Huang, Jiaheng Liu, Ge Zhang

cs.AI

Résumé

Alors que les grands modèles de langage multimodaux (MLLMs) continuent de démontrer des performances de plus en plus compétitives dans un large éventail de tâches, des benchmarks plus complexes et complets ont été développés pour évaluer ces modèles de pointe. Ces benchmarks introduisent de nouveaux défis aux capacités fondamentales telles que la perception, le raisonnement et la planification. Cependant, les benchmarks multimodaux existants ne parviennent pas à fournir une évaluation ciblée de la planification multi-étapes basée sur les relations spatiales dans les images. Pour combler cette lacune, nous présentons ING-VP, le premier benchmark INteractif de Vision Planning basé sur des jeux, spécifiquement conçu pour évaluer l'imagination spatiale et les capacités de raisonnement multi-étapes des MLLMs. ING-VP propose 6 jeux distincts, comprenant 300 niveaux, chacun avec 6 configurations uniques. Un seul modèle participe à plus de 60 000 manches d'interaction. Le cadre du benchmark permet plusieurs paramètres de comparaison, incluant des entrées image-texte vs texte seul, un raisonnement à étape unique vs multi-étapes, et des conditions avec historique vs sans historique, offrant des aperçus précieux des capacités du modèle. Nous avons évalué de nombreux MLLMs de pointe, avec le modèle le plus performant, Claude-3.5 Sonnet, atteignant une précision moyenne de seulement 3,37 %, bien en dessous de la norme anticipée. Ce travail vise à fournir un cadre d'évaluation spécialisé pour stimuler les progrès de la capacité des MLLMs en matière de raisonnement spatial complexe et de planification. Le code est disponible publiquement sur https://github.com/Thisisus7/ING-VP.git.

English

As multimodal large language models (MLLMs) continue to demonstrate increasingly competitive performance across a broad spectrum of tasks, more intricate and comprehensive benchmarks have been developed to assess these cutting-edge models. These benchmarks introduce new challenges to core capabilities such as perception, reasoning, and planning. However, existing multimodal benchmarks fall short in providing a focused evaluation of multi-step planning based on spatial relationships in images. To bridge this gap, we present ING-VP, the first INteractive Game-based Vision Planning benchmark, specifically designed to evaluate the spatial imagination and multi-step reasoning abilities of MLLMs. ING-VP features 6 distinct games, encompassing 300 levels, each with 6 unique configurations. A single model engages in over 60,000 rounds of interaction. The benchmark framework allows for multiple comparison settings, including image-text vs. text-only inputs, single-step vs. multi-step reasoning, and with-history vs. without-history conditions, offering valuable insights into the model's capabilities. We evaluated numerous state-of-the-art MLLMs, with the highest-performing model, Claude-3.5 Sonnet, achieving an average accuracy of only 3.37%, far below the anticipated standard. This work aims to provide a specialized evaluation framework to drive advancements in MLLMs' capacity for complex spatial reasoning and planning. The code is publicly available at https://github.com/Thisisus7/ING-VP.git.