BALROG : Évaluation du raisonnement agentic LLM et VLM sur les jeux

BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games

November 20, 2024

Auteurs: Davide Paglieri, Bartłomiej Cupiał, Samuel Coward, Ulyana Piterbarg, Maciej Wolczyk, Akbir Khan, Eduardo Pignatelli, Łukasz Kuciński, Lerrel Pinto, Rob Fergus, Jakob Nicolaus Foerster, Jack Parker-Holder, Tim Rocktäschel

cs.AI

Résumé

Les grands modèles de langage (LLMs) et les modèles de langage vision (VLMs) possèdent une connaissance étendue et présentent des capacités de raisonnement prometteuses ; cependant, ils peinent encore à bien performer dans des environnements complexes et dynamiques. Les tâches du monde réel nécessitent de gérer des interactions complexes, un raisonnement spatial avancé, une planification à long terme et une exploration continue de nouvelles stratégies - des domaines pour lesquels nous manquons de méthodologies efficaces pour évaluer de manière exhaustive ces capacités. Pour combler cette lacune, nous introduisons BALROG, un nouveau banc d'essai conçu pour évaluer les capacités agentiques des LLMs et VLMs à travers une diversité de jeux stimulants. Notre banc d'essai intègre une gamme d'environnements d'apprentissage par renforcement existants avec des niveaux de difficulté variables, comprenant des tâches résolubles par des humains non experts en quelques secondes à des tâches extrêmement difficiles qui peuvent prendre des années à maîtriser (par exemple, l'Environnement d'Apprentissage NetHack). Nous concevons des métriques fines pour mesurer les performances et réalisons une évaluation approfondie de plusieurs LLMs et VLMs populaires en open source et en source fermée. Nos résultats indiquent que tandis que les modèles actuels réussissent partiellement dans les jeux plus faciles, ils rencontrent des difficultés significatives avec les tâches plus complexes. Notamment, nous observons des lacunes sévères dans la prise de décision basée sur la vision, les modèles ayant de moins bonnes performances lorsque des représentations visuelles des environnements sont fournies. Nous publions BALROG en tant que banc d'essai ouvert et convivial pour faciliter la recherche et le développement futurs au sein de la communauté agentique.

English

Large Language Models (LLMs) and Vision Language Models (VLMs) possess extensive knowledge and exhibit promising reasoning abilities; however, they still struggle to perform well in complex, dynamic environments. Real-world tasks require handling intricate interactions, advanced spatial reasoning, long-term planning, and continuous exploration of new strategies-areas in which we lack effective methodologies for comprehensively evaluating these capabilities. To address this gap, we introduce BALROG, a novel benchmark designed to assess the agentic capabilities of LLMs and VLMs through a diverse set of challenging games. Our benchmark incorporates a range of existing reinforcement learning environments with varying levels of difficulty, including tasks that are solvable by non-expert humans in seconds to extremely challenging ones that may take years to master (e.g., the NetHack Learning Environment). We devise fine-grained metrics to measure performance and conduct an extensive evaluation of several popular open-source and closed-source LLMs and VLMs. Our findings indicate that while current models achieve partial success in the easier games, they struggle significantly with more challenging tasks. Notably, we observe severe deficiencies in vision-based decision-making, as models perform worse when visual representations of the environments are provided. We release BALROG as an open and user-friendly benchmark to facilitate future research and development in the agentic community.