BALROG: Benchmarking des agentischen LLM- und VLM-Reasonings in Spielen

BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games

November 20, 2024

Autoren: Davide Paglieri, Bartłomiej Cupiał, Samuel Coward, Ulyana Piterbarg, Maciej Wolczyk, Akbir Khan, Eduardo Pignatelli, Łukasz Kuciński, Lerrel Pinto, Rob Fergus, Jakob Nicolaus Foerster, Jack Parker-Holder, Tim Rocktäschel

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) und Vision-Sprachmodelle (VLMs) verfügen über umfangreiches Wissen und zeigen vielversprechende Fähigkeiten im Bereich des Schlussfolgerns; dennoch haben sie immer noch Schwierigkeiten, in komplexen, dynamischen Umgebungen gut zu performen. Realweltaufgaben erfordern die Bewältigung komplexer Interaktionen, fortgeschrittenes räumliches Denken, langfristige Planung und kontinuierliche Erkundung neuer Strategien - Bereiche, in denen wir effektive Methoden zur umfassenden Bewertung dieser Fähigkeiten vermissen. Um diese Lücke zu schließen, stellen wir BALROG vor, einen neuartigen Benchmark, der entworfen wurde, um die Handlungsfähigkeiten von LLMs und VLMs durch eine vielfältige Auswahl an anspruchsvollen Spielen zu bewerten. Unser Benchmark integriert eine Reihe bestehender Umgebungen für bestärkendes Lernen mit unterschiedlichen Schwierigkeitsgraden, einschließlich Aufgaben, die von Nicht-Experten innerhalb von Sekunden lösbar sind, bis hin zu extrem herausfordernden, die Jahre dauern können, um sie zu meistern (z. B. die NetHack-Lernumgebung). Wir entwickeln fein abgestufte Metriken zur Leistungsmessung und führen eine umfassende Evaluation mehrerer beliebter Open-Source- und Closed-Source-LLMs und VLMs durch. Unsere Ergebnisse zeigen, dass die aktuellen Modelle zwar teilweise erfolgreich in den einfacheren Spielen sind, jedoch erhebliche Schwierigkeiten mit den anspruchsvolleren Aufgaben haben. Insbesondere beobachten wir schwerwiegende Mängel bei entscheidungsbezogenen Visionen, da die Modelle schlechter abschneiden, wenn visuelle Darstellungen der Umgebungen bereitgestellt werden. Wir veröffentlichen BALROG als einen offenen und benutzerfreundlichen Benchmark, um zukünftige Forschung und Entwicklung in der Handlungsgemeinschaft zu erleichtern.

English

Large Language Models (LLMs) and Vision Language Models (VLMs) possess extensive knowledge and exhibit promising reasoning abilities; however, they still struggle to perform well in complex, dynamic environments. Real-world tasks require handling intricate interactions, advanced spatial reasoning, long-term planning, and continuous exploration of new strategies-areas in which we lack effective methodologies for comprehensively evaluating these capabilities. To address this gap, we introduce BALROG, a novel benchmark designed to assess the agentic capabilities of LLMs and VLMs through a diverse set of challenging games. Our benchmark incorporates a range of existing reinforcement learning environments with varying levels of difficulty, including tasks that are solvable by non-expert humans in seconds to extremely challenging ones that may take years to master (e.g., the NetHack Learning Environment). We devise fine-grained metrics to measure performance and conduct an extensive evaluation of several popular open-source and closed-source LLMs and VLMs. Our findings indicate that while current models achieve partial success in the easier games, they struggle significantly with more challenging tasks. Notably, we observe severe deficiencies in vision-based decision-making, as models perform worse when visual representations of the environments are provided. We release BALROG as an open and user-friendly benchmark to facilitate future research and development in the agentic community.