ING-VP: Los MLLMs aún no pueden jugar juegos visuales simples.

ING-VP: MLLMs cannot Play Easy Vision-based Games Yet

October 9, 2024

Autores: Haoran Zhang, Hangyu Guo, Shuyue Guo, Meng Cao, Wenhao Huang, Jiaheng Liu, Ge Zhang

cs.AI

Resumen

A medida que los modelos de lenguaje multimodales grandes (MLLMs) continúan demostrando un rendimiento cada vez más competitivo en una amplia gama de tareas, se han desarrollado benchmarks más intrincados y completos para evaluar estos modelos de vanguardia. Estos benchmarks introducen nuevos desafíos a capacidades fundamentales como la percepción, el razonamiento y la planificación. Sin embargo, los benchmarks multimodales existentes no logran proporcionar una evaluación enfocada en la planificación de múltiples pasos basada en relaciones espaciales en imágenes. Para cerrar esta brecha, presentamos ING-VP, el primer benchmark de Visión y Planificación basado en Juegos Interactivos, diseñado específicamente para evaluar la imaginación espacial y las habilidades de razonamiento de múltiples pasos de los MLLMs. ING-VP cuenta con 6 juegos distintos, que abarcan 300 niveles, cada uno con 6 configuraciones únicas. Un solo modelo participa en más de 60,000 rondas de interacción. El marco de benchmark permite múltiples configuraciones de comparación, incluyendo entradas de imagen-texto vs. solo texto, razonamiento de un solo paso vs. de múltiples pasos, y condiciones con historial vs. sin historial, ofreciendo valiosas ideas sobre las capacidades del modelo. Evaluamos numerosos MLLMs de última generación, con el modelo de mejor rendimiento, Claude-3.5 Sonnet, logrando una precisión promedio de solo el 3.37%, muy por debajo del estándar anticipado. Este trabajo tiene como objetivo proporcionar un marco de evaluación especializado para impulsar los avances en la capacidad de los MLLMs para el razonamiento espacial y la planificación compleja. El código está disponible públicamente en https://github.com/Thisisus7/ING-VP.git.

English

As multimodal large language models (MLLMs) continue to demonstrate increasingly competitive performance across a broad spectrum of tasks, more intricate and comprehensive benchmarks have been developed to assess these cutting-edge models. These benchmarks introduce new challenges to core capabilities such as perception, reasoning, and planning. However, existing multimodal benchmarks fall short in providing a focused evaluation of multi-step planning based on spatial relationships in images. To bridge this gap, we present ING-VP, the first INteractive Game-based Vision Planning benchmark, specifically designed to evaluate the spatial imagination and multi-step reasoning abilities of MLLMs. ING-VP features 6 distinct games, encompassing 300 levels, each with 6 unique configurations. A single model engages in over 60,000 rounds of interaction. The benchmark framework allows for multiple comparison settings, including image-text vs. text-only inputs, single-step vs. multi-step reasoning, and with-history vs. without-history conditions, offering valuable insights into the model's capabilities. We evaluated numerous state-of-the-art MLLMs, with the highest-performing model, Claude-3.5 Sonnet, achieving an average accuracy of only 3.37%, far below the anticipated standard. This work aims to provide a specialized evaluation framework to drive advancements in MLLMs' capacity for complex spatial reasoning and planning. The code is publicly available at https://github.com/Thisisus7/ING-VP.git.