ING-VP: MLLMs ainda não conseguem jogar jogos simples baseados em visão.

ING-VP: MLLMs cannot Play Easy Vision-based Games Yet

October 9, 2024

Autores: Haoran Zhang, Hangyu Guo, Shuyue Guo, Meng Cao, Wenhao Huang, Jiaheng Liu, Ge Zhang

cs.AI

Resumo

À medida que os modelos de linguagem multimodais de grande escala (MLLMs) continuam a demonstrar um desempenho cada vez mais competitivo em uma ampla gama de tarefas, benchmarks mais intrincados e abrangentes têm sido desenvolvidos para avaliar esses modelos de ponta. Esses benchmarks introduzem novos desafios às capacidades essenciais, como percepção, raciocínio e planejamento. No entanto, os benchmarks multimodais existentes deixam a desejar ao fornecer uma avaliação focada no planejamento de vários passos com base em relações espaciais em imagens. Para preencher essa lacuna, apresentamos o ING-VP, o primeiro benchmark INterativo de Visão e Planejamento baseado em jogos, especificamente projetado para avaliar a imaginação espacial e as habilidades de raciocínio de vários passos dos MLLMs. O ING-VP apresenta 6 jogos distintos, abrangendo 300 níveis, cada um com 6 configurações únicas. Um único modelo participa de mais de 60.000 rodadas de interação. O framework do benchmark permite várias configurações de comparação, incluindo entradas de imagem-texto vs. apenas texto, raciocínio de um único passo vs. de vários passos e condições com histórico vs. sem histórico, oferecendo insights valiosos sobre as capacidades do modelo. Avaliamos numerosos MLLMs de ponta, com o modelo de melhor desempenho, Claude-3.5 Sonnet, alcançando uma precisão média de apenas 3,37%, muito abaixo do padrão esperado. Este trabalho tem como objetivo fornecer um framework de avaliação especializado para impulsionar os avanços na capacidade dos MLLMs em raciocínio espacial e planejamento complexo. O código está disponível publicamente em https://github.com/Thisisus7/ING-VP.git.

English

As multimodal large language models (MLLMs) continue to demonstrate increasingly competitive performance across a broad spectrum of tasks, more intricate and comprehensive benchmarks have been developed to assess these cutting-edge models. These benchmarks introduce new challenges to core capabilities such as perception, reasoning, and planning. However, existing multimodal benchmarks fall short in providing a focused evaluation of multi-step planning based on spatial relationships in images. To bridge this gap, we present ING-VP, the first INteractive Game-based Vision Planning benchmark, specifically designed to evaluate the spatial imagination and multi-step reasoning abilities of MLLMs. ING-VP features 6 distinct games, encompassing 300 levels, each with 6 unique configurations. A single model engages in over 60,000 rounds of interaction. The benchmark framework allows for multiple comparison settings, including image-text vs. text-only inputs, single-step vs. multi-step reasoning, and with-history vs. without-history conditions, offering valuable insights into the model's capabilities. We evaluated numerous state-of-the-art MLLMs, with the highest-performing model, Claude-3.5 Sonnet, achieving an average accuracy of only 3.37%, far below the anticipated standard. This work aims to provide a specialized evaluation framework to drive advancements in MLLMs' capacity for complex spatial reasoning and planning. The code is publicly available at https://github.com/Thisisus7/ING-VP.git.