BALROG: ゲームにおけるエージェンティックLLMとVLM推論のベンチマーク化

BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games

November 20, 2024

著者: Davide Paglieri, Bartłomiej Cupiał, Samuel Coward, Ulyana Piterbarg, Maciej Wolczyk, Akbir Khan, Eduardo Pignatelli, Łukasz Kuciński, Lerrel Pinto, Rob Fergus, Jakob Nicolaus Foerster, Jack Parker-Holder, Tim Rocktäschel

cs.AI

要旨

大規模言語モデル（LLMs）およびビジョン言語モデル（VLMs）は幅広い知識を持ち、有望な推論能力を示すが、複雑で動的な環境での優れたパフォーマンスには依然として苦労している。実世界のタスクでは、複雑な相互作用、高度な空間推論、長期的な計画、新しい戦略の継続的な探索が必要とされるが、これらの能力を包括的に評価するための効果的な方法論が不足している。このギャップを埋めるために、私たちはBALROGを導入し、LLMsおよびVLMsのエージェント能力を多様な難解なゲームを通じて評価するための新しいベンチマークを提案する。当該ベンチマークは、難易度の異なる既存の強化学習環境を取り入れ、非専門家でも数秒で解決可能なタスクから数年かかる可能性のある非常に困難なタスク（例：NetHack Learning Environment）までを含んでいる。私たちはパフォーマンスを測定するための細かいメトリクスを設計し、いくつかの一般的なオープンソースおよびクローズドソースのLLMsおよびVLMsを広範囲に評価する。我々の調査結果は、現行のモデルが簡単なゲームでは一部成功を収めている一方、より困難なタスクには著しく苦戦していることを示している。特に、ビジョンベースの意思決定において深刻な欠陥が見られ、環境の視覚表現が提供されるとモデルのパフォーマンスが低下することが観察されている。私たちはBALROGをオープンで使いやすいベンチマークとして公開し、将来のエージェントコミュニティにおける研究と開発を促進することを目的としている。

English

Large Language Models (LLMs) and Vision Language Models (VLMs) possess extensive knowledge and exhibit promising reasoning abilities; however, they still struggle to perform well in complex, dynamic environments. Real-world tasks require handling intricate interactions, advanced spatial reasoning, long-term planning, and continuous exploration of new strategies-areas in which we lack effective methodologies for comprehensively evaluating these capabilities. To address this gap, we introduce BALROG, a novel benchmark designed to assess the agentic capabilities of LLMs and VLMs through a diverse set of challenging games. Our benchmark incorporates a range of existing reinforcement learning environments with varying levels of difficulty, including tasks that are solvable by non-expert humans in seconds to extremely challenging ones that may take years to master (e.g., the NetHack Learning Environment). We devise fine-grained metrics to measure performance and conduct an extensive evaluation of several popular open-source and closed-source LLMs and VLMs. Our findings indicate that while current models achieve partial success in the easier games, they struggle significantly with more challenging tasks. Notably, we observe severe deficiencies in vision-based decision-making, as models perform worse when visual representations of the environments are provided. We release BALROG as an open and user-friendly benchmark to facilitate future research and development in the agentic community.