GLEE: Объединенная структура и бенчмарк для языковых экономических сред.

GLEE: A Unified Framework and Benchmark for Language-based Economic Environments

October 7, 2024

Авторы: Eilam Shapira, Omer Madmon, Itamar Reinman, Samuel Joseph Amouyal, Roi Reichart, Moshe Tennenholtz

cs.AI

Аннотация

Большие языковые модели (LLM) показывают значительный потенциал в экономических и стратегических взаимодействиях, где часто используется общение на естественном языке. Это порождает ключевые вопросы: Ведут ли LLM рационально? Могут ли они имитировать человеческое поведение? Склонны ли они достигать эффективного и справедливого результата? Какова роль естественного языка в стратегическом взаимодействии? Как характеристики экономической среды влияют на эти динамики? Эти вопросы становятся критическими в контексте экономических и общественных последствий интеграции агентов на основе LLM в системы, основанные на данных реального мира, такие как онлайн-платформы розничной торговли и системы рекомендаций. В то время как сообщество машинного обучения исследует потенциал LLM в таких многоагентных средах, различные предположения, выборы дизайна и критерии оценки в различных исследованиях затрудняют выводы, устойчивые и содержательные. Для решения этой проблемы мы представляем бенчмарк для стандартизации исследований в двухигровых последовательных играх на основе языка. Вдохновленные экономической литературой, мы определяем три базовые семейства игр с согласованной параметризацией, степенями свободы и экономическими мерами для оценки производительности агентов (собственная выгода), а также результата игры (эффективность и справедливость). Мы разрабатываем фреймворк с открытым исходным кодом для симуляции и анализа взаимодействия, и используем его для сбора набора данных взаимодействий LLM против LLM в различных конфигурациях игр и дополнительного набора данных взаимодействий человека против LLM. Через обширные эксперименты мы демонстрируем, как наш фреймворк и набор данных могут быть использованы для: (i) сравнения поведения агентов на основе LLM с поведением человеческих игроков в различных экономических контекстах; (ii) оценки агентов по индивидуальным и коллективным показателям производительности; и (iii) количественной оценки влияния экономических характеристик среды на поведение агентов.

English

Large Language Models (LLMs) show significant potential in economic and strategic interactions, where communication via natural language is often prevalent. This raises key questions: Do LLMs behave rationally? Can they mimic human behavior? Do they tend to reach an efficient and fair outcome? What is the role of natural language in the strategic interaction? How do characteristics of the economic environment influence these dynamics? These questions become crucial concerning the economic and societal implications of integrating LLM-based agents into real-world data-driven systems, such as online retail platforms and recommender systems. While the ML community has been exploring the potential of LLMs in such multi-agent setups, varying assumptions, design choices and evaluation criteria across studies make it difficult to draw robust and meaningful conclusions. To address this, we introduce a benchmark for standardizing research on two-player, sequential, language-based games. Inspired by the economic literature, we define three base families of games with consistent parameterization, degrees of freedom and economic measures to evaluate agents' performance (self-gain), as well as the game outcome (efficiency and fairness). We develop an open-source framework for interaction simulation and analysis, and utilize it to collect a dataset of LLM vs. LLM interactions across numerous game configurations and an additional dataset of human vs. LLM interactions. Through extensive experimentation, we demonstrate how our framework and dataset can be used to: (i) compare the behavior of LLM-based agents to human players in various economic contexts; (ii) evaluate agents in both individual and collective performance measures; and (iii) quantify the effect of the economic characteristics of the environments on the behavior of agents.