SmartPlay：LLMを知的エージェントとして評価するベンチマーク

SmartPlay : A Benchmark for LLMs as Intelligent Agents

October 2, 2023

著者: Yue Wu, Xuan Tang, Tom M. Mitchell, Yuanzhi Li

cs.AI

要旨

近年の大規模言語モデル（LLM）は、知的エージェントや次世代の自動化に向けて大きな可能性を示していますが、現在のところ、LLMをエージェントとして評価するための体系的なベンチマークが不足しています。私たちは、SmartPlayを紹介します。これは、LLMをエージェントとして評価するための挑戦的なベンチマークであり、方法論でもあります。SmartPlayは、じゃんけん、ハノイの塔、Minecraftなど、6つの異なるゲームで構成されています。各ゲームは独自の設定を特徴としており、最大20の評価設定と無限の環境バリエーションを提供します。SmartPlayの各ゲームは、知的LLMエージェントの重要な9つの能力のサブセットを独自に挑戦します。これには、オブジェクトの依存関係を考慮した推論、先を見据えた計画、空間的推論、履歴からの学習、ランダム性の理解などが含まれます。各ゲームがテストする能力セットの違いにより、各能力を個別に分析することが可能です。SmartPlayは、LLMエージェントの全体的な性能を評価するための厳密なテスト場としてだけでなく、現在の方法論におけるギャップを特定するためのロードマップとしても機能します。私たちは、このベンチマークをgithub.com/LLMsmartplay/SmartPlayで公開しています。

English

Recent large language models (LLMs) have demonstrated great potential toward intelligent agents and next-gen automation, but there currently lacks a systematic benchmark for evaluating LLMs' abilities as agents. We introduce SmartPlay: both a challenging benchmark and a methodology for evaluating LLMs as agents. SmartPlay consists of 6 different games, including Rock-Paper-Scissors, Tower of Hanoi, Minecraft. Each game features a unique setting, providing up to 20 evaluation settings and infinite environment variations. Each game in SmartPlay uniquely challenges a subset of 9 important capabilities of an intelligent LLM agent, including reasoning with object dependencies, planning ahead, spatial reasoning, learning from history, and understanding randomness. The distinction between the set of capabilities each game test allows us to analyze each capability separately. SmartPlay serves not only as a rigorous testing ground for evaluating the overall performance of LLM agents but also as a road-map for identifying gaps in current methodologies. We release our benchmark at github.com/LLMsmartplay/SmartPlay