SmartPlay: Een Benchmark voor LLM's als Intelligente Agents

SmartPlay : A Benchmark for LLMs as Intelligent Agents

October 2, 2023

Auteurs: Yue Wu, Xuan Tang, Tom M. Mitchell, Yuanzhi Li

cs.AI

Samenvatting

Recente grote taalmodellen (LLMs) hebben groot potentieel getoond voor intelligente agents en next-gen automatisering, maar er ontbreekt momenteel een systematische benchmark voor het evalueren van de vaardigheden van LLMs als agents. Wij introduceren SmartPlay: zowel een uitdagende benchmark als een methodologie voor het evalueren van LLMs als agents. SmartPlay bestaat uit 6 verschillende spellen, waaronder Steen-Papier-Schaar, de Toren van Hanoi en Minecraft. Elk spel biedt een unieke setting, met maximaal 20 evaluatie-instellingen en oneindige variaties in de omgeving. Elk spel in SmartPlay daagt op unieke wijze een subset van 9 belangrijke vaardigheden van een intelligente LLM-agent uit, waaronder redeneren met objectafhankelijkheden, vooruit plannen, ruimtelijk redeneren, leren van geschiedenis en het begrijpen van willekeur. Het onderscheid tussen de set vaardigheden die elk spel test, stelt ons in staat om elke vaardigheid afzonderlijk te analyseren. SmartPlay dient niet alleen als een rigoureus testgebied voor het evalueren van de algehele prestaties van LLM-agents, maar ook als een routekaart voor het identificeren van hiaten in huidige methodologieën. Wij hebben onze benchmark vrijgegeven op github.com/LLMsmartplay/SmartPlay.

English

Recent large language models (LLMs) have demonstrated great potential toward intelligent agents and next-gen automation, but there currently lacks a systematic benchmark for evaluating LLMs' abilities as agents. We introduce SmartPlay: both a challenging benchmark and a methodology for evaluating LLMs as agents. SmartPlay consists of 6 different games, including Rock-Paper-Scissors, Tower of Hanoi, Minecraft. Each game features a unique setting, providing up to 20 evaluation settings and infinite environment variations. Each game in SmartPlay uniquely challenges a subset of 9 important capabilities of an intelligent LLM agent, including reasoning with object dependencies, planning ahead, spatial reasoning, learning from history, and understanding randomness. The distinction between the set of capabilities each game test allows us to analyze each capability separately. SmartPlay serves not only as a rigorous testing ground for evaluating the overall performance of LLM agents but also as a road-map for identifying gaps in current methodologies. We release our benchmark at github.com/LLMsmartplay/SmartPlay