SmartPlay : Un benchmark pour les LLM en tant qu'agents intelligents

SmartPlay : A Benchmark for LLMs as Intelligent Agents

October 2, 2023

papers.authors: Yue Wu, Xuan Tang, Tom M. Mitchell, Yuanzhi Li

cs.AI

papers.abstract

Les grands modèles de langage (LLM) récents ont démontré un potentiel considérable pour les agents intelligents et l'automatisation de nouvelle génération, mais il manque actuellement un benchmark systématique pour évaluer les capacités des LLM en tant qu'agents. Nous présentons SmartPlay : à la fois un benchmark exigeant et une méthodologie pour évaluer les LLM en tant qu'agents. SmartPlay se compose de 6 jeux différents, incluant Pierre-Papier-Ciseaux, la Tour de Hanoï et Minecraft. Chaque jeu propose un cadre unique, offrant jusqu'à 20 scénarios d'évaluation et des variations infinies de l'environnement. Chaque jeu dans SmartPlay met spécifiquement à l'épreuve un sous-ensemble de 9 capacités essentielles d'un agent LLM intelligent, incluant le raisonnement avec des dépendances d'objets, la planification à l'avance, le raisonnement spatial, l'apprentissage à partir de l'historique et la compréhension de l'aléatoire. La distinction entre les ensembles de capacités testés par chaque jeu nous permet d'analyser chaque capacité séparément. SmartPlay sert non seulement de terrain d'essai rigoureux pour évaluer la performance globale des agents LLM, mais aussi de feuille de route pour identifier les lacunes dans les méthodologies actuelles. Nous publions notre benchmark sur github.com/LLMsmartplay/SmartPlay.

English

Recent large language models (LLMs) have demonstrated great potential toward intelligent agents and next-gen automation, but there currently lacks a systematic benchmark for evaluating LLMs' abilities as agents. We introduce SmartPlay: both a challenging benchmark and a methodology for evaluating LLMs as agents. SmartPlay consists of 6 different games, including Rock-Paper-Scissors, Tower of Hanoi, Minecraft. Each game features a unique setting, providing up to 20 evaluation settings and infinite environment variations. Each game in SmartPlay uniquely challenges a subset of 9 important capabilities of an intelligent LLM agent, including reasoning with object dependencies, planning ahead, spatial reasoning, learning from history, and understanding randomness. The distinction between the set of capabilities each game test allows us to analyze each capability separately. SmartPlay serves not only as a rigorous testing ground for evaluating the overall performance of LLM agents but also as a road-map for identifying gaps in current methodologies. We release our benchmark at github.com/LLMsmartplay/SmartPlay