SmartPlay: Un punto de referencia para los modelos de lenguaje grandes como agentes inteligentes

SmartPlay : A Benchmark for LLMs as Intelligent Agents

October 2, 2023

Autores: Yue Wu, Xuan Tang, Tom M. Mitchell, Yuanzhi Li

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) recientes han demostrado un gran potencial hacia agentes inteligentes y la automatización de próxima generación, pero actualmente carecemos de un punto de referencia sistemático para evaluar las capacidades de los LLMs como agentes. Presentamos SmartPlay: tanto un punto de referencia desafiante como una metodología para evaluar LLMs como agentes. SmartPlay consta de 6 juegos diferentes, incluyendo Piedra-Papel-Tijeras, la Torre de Hanói y Minecraft. Cada juego presenta un entorno único, ofreciendo hasta 20 configuraciones de evaluación y variaciones infinitas del entorno. Cada juego en SmartPlay desafía de manera única un subconjunto de 9 capacidades importantes de un agente LLM inteligente, incluyendo razonamiento con dependencias de objetos, planificación anticipada, razonamiento espacial, aprendizaje a partir de la historia y comprensión de la aleatoriedad. La distinción entre el conjunto de capacidades que cada juego evalúa nos permite analizar cada capacidad por separado. SmartPlay no solo sirve como un terreno de prueba riguroso para evaluar el rendimiento general de los agentes LLM, sino también como una hoja de ruta para identificar brechas en las metodologías actuales. Publicamos nuestro punto de referencia en github.com/LLMsmartplay/SmartPlay.

English

Recent large language models (LLMs) have demonstrated great potential toward intelligent agents and next-gen automation, but there currently lacks a systematic benchmark for evaluating LLMs' abilities as agents. We introduce SmartPlay: both a challenging benchmark and a methodology for evaluating LLMs as agents. SmartPlay consists of 6 different games, including Rock-Paper-Scissors, Tower of Hanoi, Minecraft. Each game features a unique setting, providing up to 20 evaluation settings and infinite environment variations. Each game in SmartPlay uniquely challenges a subset of 9 important capabilities of an intelligent LLM agent, including reasoning with object dependencies, planning ahead, spatial reasoning, learning from history, and understanding randomness. The distinction between the set of capabilities each game test allows us to analyze each capability separately. SmartPlay serves not only as a rigorous testing ground for evaluating the overall performance of LLM agents but also as a road-map for identifying gaps in current methodologies. We release our benchmark at github.com/LLMsmartplay/SmartPlay