SmartPlay: 지능형 에이전트로서의 대형 언어 모델을 위한 벤치마크

SmartPlay : A Benchmark for LLMs as Intelligent Agents

October 2, 2023

저자: Yue Wu, Xuan Tang, Tom M. Mitchell, Yuanzhi Li

cs.AI

초록

최근 대규모 언어 모델(LLMs)은 지능형 에이전트와 차세대 자동화를 향해 큰 잠재력을 보여주고 있지만, 현재로서는 LLM의 에이전트로서의 능력을 평가하기 위한 체계적인 벤치마크가 부족한 상황입니다. 우리는 SmartPlay를 소개합니다: 이는 LLM을 에이전트로 평가하기 위한 도전적인 벤치마크이자 방법론입니다. SmartPlay는 가위바위보, 하노이의 탑, 마인크래프트를 포함한 6가지 다른 게임으로 구성되어 있습니다. 각 게임은 고유한 설정을 갖추고 있어 최대 20개의 평가 설정과 무한한 환경 변형을 제공합니다. SmartPlay의 각 게임은 지능형 LLM 에이전트의 9가지 중요한 능력 중 일부를 독특하게 테스트하며, 이에는 객체 의존성 추론, 미리 계획하기, 공간 추론, 역사로부터 학습하기, 무작위성 이해하기 등이 포함됩니다. 각 게임이 테스트하는 능력 집합 간의 차이를 통해 우리는 각 능력을 개별적으로 분석할 수 있습니다. SmartPlay는 LLM 에이전트의 전반적인 성능을 평가하기 위한 엄격한 테스트 환경으로서뿐만 아니라, 현재 방법론의 격차를 식별하기 위한 로드맵으로서도 기능합니다. 우리는 이 벤치마크를 github.com/LLMsmartplay/SmartPlay에서 공개합니다.

English

Recent large language models (LLMs) have demonstrated great potential toward intelligent agents and next-gen automation, but there currently lacks a systematic benchmark for evaluating LLMs' abilities as agents. We introduce SmartPlay: both a challenging benchmark and a methodology for evaluating LLMs as agents. SmartPlay consists of 6 different games, including Rock-Paper-Scissors, Tower of Hanoi, Minecraft. Each game features a unique setting, providing up to 20 evaluation settings and infinite environment variations. Each game in SmartPlay uniquely challenges a subset of 9 important capabilities of an intelligent LLM agent, including reasoning with object dependencies, planning ahead, spatial reasoning, learning from history, and understanding randomness. The distinction between the set of capabilities each game test allows us to analyze each capability separately. SmartPlay serves not only as a rigorous testing ground for evaluating the overall performance of LLM agents but also as a road-map for identifying gaps in current methodologies. We release our benchmark at github.com/LLMsmartplay/SmartPlay