BALROG: Benchmarken van Agentic LLM en VLM Redeneren Over Spellen

BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games

November 20, 2024

Auteurs: Davide Paglieri, Bartłomiej Cupiał, Samuel Coward, Ulyana Piterbarg, Maciej Wolczyk, Akbir Khan, Eduardo Pignatelli, Łukasz Kuciński, Lerrel Pinto, Rob Fergus, Jakob Nicolaus Foerster, Jack Parker-Holder, Tim Rocktäschel

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) en Visie Taalmodellen (VLM's) bezitten uitgebreide kennis en vertonen veelbelovende redeneervaardigheden; toch hebben ze nog steeds moeite om goed te presteren in complexe, dynamische omgevingen. Taken in de echte wereld vereisen het omgaan met ingewikkelde interacties, geavanceerde ruimtelijke redenering, langetermijnplanning en voortdurende verkenning van nieuwe strategieën - gebieden waarin we effectieve methodologieën missen om deze capaciteiten uitgebreid te evalueren. Om deze kloof te overbruggen, introduceren we BALROG, een nieuw benchmark ontworpen om de agentische capaciteiten van LLM's en VLM's te beoordelen door middel van een gevarieerde set uitdagende spellen. Onze benchmark omvat een reeks bestaande reinforcement learning omgevingen met verschillende moeilijkheidsgraden, waaronder taken die door niet-expert mensen in seconden oplosbaar zijn tot extreem uitdagende taken die jaren kunnen duren om onder de knie te krijgen (bijv. de NetHack Leeromgeving). We ontwikkelen fijnmazige metrieken om prestaties te meten en voeren een uitgebreide evaluatie uit van verschillende populaire open-source en closed-source LLM's en VLM's. Onze bevindingen geven aan dat hoewel huidige modellen gedeeltelijk succes behalen in de eenvoudigere spellen, ze aanzienlijke moeite hebben met meer uitdagende taken. Opmerkelijk is dat we ernstige tekortkomingen waarnemen in op visie gebaseerde besluitvorming, aangezien modellen slechter presteren wanneer visuele representaties van de omgevingen worden verstrekt. We brengen BALROG uit als een open en gebruiksvriendelijke benchmark om toekomstig onderzoek en ontwikkeling in de agentische gemeenschap te vergemakkelijken.

English

Large Language Models (LLMs) and Vision Language Models (VLMs) possess extensive knowledge and exhibit promising reasoning abilities; however, they still struggle to perform well in complex, dynamic environments. Real-world tasks require handling intricate interactions, advanced spatial reasoning, long-term planning, and continuous exploration of new strategies-areas in which we lack effective methodologies for comprehensively evaluating these capabilities. To address this gap, we introduce BALROG, a novel benchmark designed to assess the agentic capabilities of LLMs and VLMs through a diverse set of challenging games. Our benchmark incorporates a range of existing reinforcement learning environments with varying levels of difficulty, including tasks that are solvable by non-expert humans in seconds to extremely challenging ones that may take years to master (e.g., the NetHack Learning Environment). We devise fine-grained metrics to measure performance and conduct an extensive evaluation of several popular open-source and closed-source LLMs and VLMs. Our findings indicate that while current models achieve partial success in the easier games, they struggle significantly with more challenging tasks. Notably, we observe severe deficiencies in vision-based decision-making, as models perform worse when visual representations of the environments are provided. We release BALROG as an open and user-friendly benchmark to facilitate future research and development in the agentic community.