SmartPlay: Un Benchmark per i Modelli Linguistici come Agenti Intelligenti

SmartPlay : A Benchmark for LLMs as Intelligent Agents

October 2, 2023

Autori: Yue Wu, Xuan Tang, Tom M. Mitchell, Yuanzhi Li

cs.AI

Abstract

I recenti modelli linguistici di grandi dimensioni (LLM) hanno dimostrato un grande potenziale verso agenti intelligenti e l'automazione di prossima generazione, ma attualmente manca un benchmark sistematico per valutare le capacità degli LLM come agenti. Introduciamo SmartPlay: sia un benchmark impegnativo che una metodologia per valutare gli LLM come agenti. SmartPlay è composto da 6 giochi diversi, tra cui Morra Cinese, Torre di Hanoi, Minecraft. Ogni gioco presenta un'ambientazione unica, offrendo fino a 20 impostazioni di valutazione e infinite variazioni ambientali. Ogni gioco in SmartPlay mette alla prova in modo unico un sottoinsieme di 9 importanti capacità di un agente LLM intelligente, tra cui il ragionamento con dipendenze oggettuali, la pianificazione anticipata, il ragionamento spaziale, l'apprendimento dalla storia e la comprensione della casualità. La distinzione tra l'insieme di capacità testate da ciascun gioco ci consente di analizzare separatamente ciascuna capacità. SmartPlay funge non solo come un rigoroso terreno di prova per valutare le prestazioni complessive degli agenti LLM, ma anche come una mappa per identificare le lacune nelle metodologie attuali. Rilasciamo il nostro benchmark su github.com/LLMsmartplay/SmartPlay.

English

Recent large language models (LLMs) have demonstrated great potential toward intelligent agents and next-gen automation, but there currently lacks a systematic benchmark for evaluating LLMs' abilities as agents. We introduce SmartPlay: both a challenging benchmark and a methodology for evaluating LLMs as agents. SmartPlay consists of 6 different games, including Rock-Paper-Scissors, Tower of Hanoi, Minecraft. Each game features a unique setting, providing up to 20 evaluation settings and infinite environment variations. Each game in SmartPlay uniquely challenges a subset of 9 important capabilities of an intelligent LLM agent, including reasoning with object dependencies, planning ahead, spatial reasoning, learning from history, and understanding randomness. The distinction between the set of capabilities each game test allows us to analyze each capability separately. SmartPlay serves not only as a rigorous testing ground for evaluating the overall performance of LLM agents but also as a road-map for identifying gaps in current methodologies. We release our benchmark at github.com/LLMsmartplay/SmartPlay