BALROG: Оценка агентного логико-лингвистического и визуально-лингвистического мышления в играх

BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games

November 20, 2024

Авторы: Davide Paglieri, Bartłomiej Cupiał, Samuel Coward, Ulyana Piterbarg, Maciej Wolczyk, Akbir Khan, Eduardo Pignatelli, Łukasz Kuciński, Lerrel Pinto, Rob Fergus, Jakob Nicolaus Foerster, Jack Parker-Holder, Tim Rocktäschel

cs.AI

Аннотация

Большие языковые модели (LLM) и модели языка и зрения (VLM) обладают обширными знаниями и проявляют многообещающие способности к рассуждениям; однако они все еще испытывают трудности в успешном выполнении задач в сложных и динамичных средах. Реальные задачи требуют обработки сложных взаимодействий, продвинутого пространственного мышления, долгосрочного планирования и непрерывного исследования новых стратегий - областей, в которых нам не хватает эффективных методологий для всесторонней оценки этих способностей. Для решения этого пробела мы представляем BALROG, новый бенчмарк, разработанный для оценки агентных способностей LLM и VLM через разнообразный набор сложных игр. Наш бенчмарк включает в себя ряд существующих сред обучения с подкреплением с разными уровнями сложности, включая задачи, которые решаются неспециалистами за секунды, и крайне сложные, которые могут потребовать годы для освоения (например, среда обучения NetHack). Мы разрабатываем тонкие метрики для измерения производительности и проводим обширную оценку нескольких популярных открытых и закрытых LLM и VLM. Наши результаты показывают, что текущие модели добиваются частичного успеха в более легких играх, но испытывают значительные трудности с более сложными задачами. Особенно мы наблюдаем серьезные недостатки в принятии решений на основе зрительных данных, поскольку модели показывают более плохие результаты, когда им предоставляются визуальные представления сред. Мы выпускаем BALROG в качестве открытого и удобного для пользователя бенчмарка для содействия будущим исследованиям и разработкам в сообществе агентов.

English

Large Language Models (LLMs) and Vision Language Models (VLMs) possess extensive knowledge and exhibit promising reasoning abilities; however, they still struggle to perform well in complex, dynamic environments. Real-world tasks require handling intricate interactions, advanced spatial reasoning, long-term planning, and continuous exploration of new strategies-areas in which we lack effective methodologies for comprehensively evaluating these capabilities. To address this gap, we introduce BALROG, a novel benchmark designed to assess the agentic capabilities of LLMs and VLMs through a diverse set of challenging games. Our benchmark incorporates a range of existing reinforcement learning environments with varying levels of difficulty, including tasks that are solvable by non-expert humans in seconds to extremely challenging ones that may take years to master (e.g., the NetHack Learning Environment). We devise fine-grained metrics to measure performance and conduct an extensive evaluation of several popular open-source and closed-source LLMs and VLMs. Our findings indicate that while current models achieve partial success in the easier games, they struggle significantly with more challenging tasks. Notably, we observe severe deficiencies in vision-based decision-making, as models perform worse when visual representations of the environments are provided. We release BALROG as an open and user-friendly benchmark to facilitate future research and development in the agentic community.