SmartPlay: Ein Benchmark für LLMs als intelligente Agenten
SmartPlay : A Benchmark for LLMs as Intelligent Agents
October 2, 2023
papers.authors: Yue Wu, Xuan Tang, Tom M. Mitchell, Yuanzhi Li
cs.AI
papers.abstract
Aktuelle große Sprachmodelle (LLMs) haben ein großes Potenzial für intelligente Agenten und die Automatisierung der nächsten Generation gezeigt, aber es fehlt derzeit ein systematischer Benchmark zur Bewertung der Fähigkeiten von LLMs als Agenten. Wir stellen SmartPlay vor: einen anspruchsvollen Benchmark und eine Methodik zur Bewertung von LLMs als Agenten. SmartPlay besteht aus 6 verschiedenen Spielen, darunter Schere-Stein-Papier, Türme von Hanoi und Minecraft. Jedes Spiel bietet eine einzigartige Umgebung mit bis zu 20 Bewertungsszenarien und unendlichen Umgebungsvariationen. Jedes Spiel in SmartPlay fordert spezifisch eine Teilmenge von 9 wichtigen Fähigkeiten eines intelligenten LLM-Agenten heraus, darunter das logische Denken mit Objektabhängigkeiten, vorausschauendes Planen, räumliches Denken, Lernen aus der Historie und das Verständnis von Zufälligkeit. Die Unterscheidung zwischen den Fähigkeiten, die jedes Spiel testet, ermöglicht es uns, jede Fähigkeit separat zu analysieren. SmartPlay dient nicht nur als rigoroser Prüfstand zur Bewertung der Gesamtleistung von LLM-Agenten, sondern auch als Leitfaden zur Identifizierung von Lücken in aktuellen Methodologien. Wir veröffentlichen unseren Benchmark unter github.com/LLMsmartplay/SmartPlay.
English
Recent large language models (LLMs) have demonstrated great potential toward
intelligent agents and next-gen automation, but there currently lacks a
systematic benchmark for evaluating LLMs' abilities as agents. We introduce
SmartPlay: both a challenging benchmark and a methodology for evaluating LLMs
as agents. SmartPlay consists of 6 different games, including
Rock-Paper-Scissors, Tower of Hanoi, Minecraft. Each game features a unique
setting, providing up to 20 evaluation settings and infinite environment
variations. Each game in SmartPlay uniquely challenges a subset of 9 important
capabilities of an intelligent LLM agent, including reasoning with object
dependencies, planning ahead, spatial reasoning, learning from history, and
understanding randomness. The distinction between the set of capabilities each
game test allows us to analyze each capability separately. SmartPlay serves not
only as a rigorous testing ground for evaluating the overall performance of LLM
agents but also as a road-map for identifying gaps in current methodologies. We
release our benchmark at github.com/LLMsmartplay/SmartPlay