SmartPlay: Бенчмарк для языковых моделей как интеллектуальных агентов

SmartPlay : A Benchmark for LLMs as Intelligent Agents

October 2, 2023

Авторы: Yue Wu, Xuan Tang, Tom M. Mitchell, Yuanzhi Li

cs.AI

Аннотация

Последние крупные языковые модели (LLMs) продемонстрировали значительный потенциал в создании интеллектуальных агентов и автоматизации следующего поколения, однако в настоящее время отсутствует систематический бенчмарк для оценки способностей LLM в роли агентов. Мы представляем SmartPlay: как сложный бенчмарк, так и методологию для оценки LLM в качестве агентов. SmartPlay включает 6 различных игр, таких как "Камень-Ножницы-Бумага", "Ханойская башня" и Minecraft. Каждая игра имеет уникальную обстановку, предоставляя до 20 вариантов оценки и бесконечное разнообразие окружений. Каждая игра в SmartPlay уникальным образом проверяет подмножество из 9 важных способностей интеллектуального агента на основе LLM, включая рассуждение с учетом зависимостей объектов, планирование наперед, пространственное мышление, обучение на основе истории и понимание случайности. Различие между набором способностей, которые проверяет каждая игра, позволяет нам анализировать каждую способность отдельно. SmartPlay служит не только строгой площадкой для тестирования общей производительности LLM-агентов, но и дорожной картой для выявления пробелов в текущих методологиях. Мы публикуем наш бенчмарк на github.com/LLMsmartplay/SmartPlay.

English

Recent large language models (LLMs) have demonstrated great potential toward intelligent agents and next-gen automation, but there currently lacks a systematic benchmark for evaluating LLMs' abilities as agents. We introduce SmartPlay: both a challenging benchmark and a methodology for evaluating LLMs as agents. SmartPlay consists of 6 different games, including Rock-Paper-Scissors, Tower of Hanoi, Minecraft. Each game features a unique setting, providing up to 20 evaluation settings and infinite environment variations. Each game in SmartPlay uniquely challenges a subset of 9 important capabilities of an intelligent LLM agent, including reasoning with object dependencies, planning ahead, spatial reasoning, learning from history, and understanding randomness. The distinction between the set of capabilities each game test allows us to analyze each capability separately. SmartPlay serves not only as a rigorous testing ground for evaluating the overall performance of LLM agents but also as a road-map for identifying gaps in current methodologies. We release our benchmark at github.com/LLMsmartplay/SmartPlay