BALROG: Avaliação de Desempenho do Raciocínio Agente LLM e VLM em Jogos

BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games

November 20, 2024

Autores: Davide Paglieri, Bartłomiej Cupiał, Samuel Coward, Ulyana Piterbarg, Maciej Wolczyk, Akbir Khan, Eduardo Pignatelli, Łukasz Kuciński, Lerrel Pinto, Rob Fergus, Jakob Nicolaus Foerster, Jack Parker-Holder, Tim Rocktäschel

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) e os Modelos de Linguagem de Visão (VLMs) possuem um vasto conhecimento e exibem habilidades promissoras de raciocínio; no entanto, ainda enfrentam dificuldades para se sair bem em ambientes complexos e dinâmicos. Tarefas do mundo real exigem lidar com interações intricadas, raciocínio espacial avançado, planejamento de longo prazo e exploração contínua de novas estratégias - áreas nas quais faltam metodologias eficazes para avaliar abrangentemente essas capacidades. Para abordar essa lacuna, apresentamos o BALROG, um novo benchmark projetado para avaliar as capacidades agentes dos LLMs e VLMs por meio de um conjunto diversificado de jogos desafiadores. Nosso benchmark incorpora uma variedade de ambientes de aprendizado por reforço existentes com diferentes níveis de dificuldade, incluindo tarefas que são resolúveis por humanos não especialistas em segundos até aquelas extremamente desafiadoras que podem levar anos para dominar (por exemplo, o Ambiente de Aprendizado NetHack). Criamos métricas detalhadas para medir o desempenho e realizamos uma avaliação extensiva de vários LLMs e VLMs populares de código aberto e proprietários. Nossas descobertas indicam que, embora os modelos atuais tenham sucesso parcial nos jogos mais fáceis, eles enfrentam dificuldades significativas com tarefas mais desafiadoras. Notavelmente, observamos deficiências graves na tomada de decisões baseada em visão, pois os modelos têm um desempenho pior quando são fornecidas representações visuais dos ambientes. Lançamos o BALROG como um benchmark aberto e amigável ao usuário para facilitar pesquisas e desenvolvimentos futuros na comunidade agente.

English

Large Language Models (LLMs) and Vision Language Models (VLMs) possess extensive knowledge and exhibit promising reasoning abilities; however, they still struggle to perform well in complex, dynamic environments. Real-world tasks require handling intricate interactions, advanced spatial reasoning, long-term planning, and continuous exploration of new strategies-areas in which we lack effective methodologies for comprehensively evaluating these capabilities. To address this gap, we introduce BALROG, a novel benchmark designed to assess the agentic capabilities of LLMs and VLMs through a diverse set of challenging games. Our benchmark incorporates a range of existing reinforcement learning environments with varying levels of difficulty, including tasks that are solvable by non-expert humans in seconds to extremely challenging ones that may take years to master (e.g., the NetHack Learning Environment). We devise fine-grained metrics to measure performance and conduct an extensive evaluation of several popular open-source and closed-source LLMs and VLMs. Our findings indicate that while current models achieve partial success in the easier games, they struggle significantly with more challenging tasks. Notably, we observe severe deficiencies in vision-based decision-making, as models perform worse when visual representations of the environments are provided. We release BALROG as an open and user-friendly benchmark to facilitate future research and development in the agentic community.