GLEE: Um Framework Unificado e Referência para Ambientes Econômicos Baseados em Linguagem

GLEE: A Unified Framework and Benchmark for Language-based Economic Environments

October 7, 2024

Autores: Eilam Shapira, Omer Madmon, Itamar Reinman, Samuel Joseph Amouyal, Roi Reichart, Moshe Tennenholtz

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) mostram um potencial significativo em interações econômicas e estratégicas, onde a comunicação por meio da linguagem natural é frequentemente predominante. Isso levanta questões-chave: Os LLMs se comportam de forma racional? Eles podem imitar o comportamento humano? Eles tendem a alcançar um resultado eficiente e justo? Qual é o papel da linguagem natural na interação estratégica? Como as características do ambiente econômico influenciam essas dinâmicas? Essas questões se tornam cruciais no que diz respeito às implicações econômicas e sociais da integração de agentes baseados em LLM em sistemas do mundo real orientados por dados, como plataformas de varejo online e sistemas de recomendação. Enquanto a comunidade de ML tem explorado o potencial dos LLMs em tais configurações multiagentes, pressupostos variados, escolhas de design e critérios de avaliação em estudos diferentes tornam difícil tirar conclusões robustas e significativas. Para abordar isso, introduzimos um benchmark para padronizar a pesquisa em jogos baseados em linguagem sequencial para dois jogadores. Inspirados na literatura econômica, definimos três famílias de jogos base com parametrização consistente, graus de liberdade e medidas econômicas para avaliar o desempenho dos agentes (auto-ganho), bem como o resultado do jogo (eficiência e justiça). Desenvolvemos um framework de código aberto para simulação e análise de interações, e o utilizamos para coletar um conjunto de dados de interações LLM vs. LLM em várias configurações de jogo e um conjunto de dados adicional de interações humanos vs. LLM. Através de experimentação extensiva, demonstramos como nosso framework e conjunto de dados podem ser usados para: (i) comparar o comportamento de agentes baseados em LLM com jogadores humanos em vários contextos econômicos; (ii) avaliar agentes em medidas de desempenho individuais e coletivas; e (iii) quantificar o efeito das características econômicas dos ambientes no comportamento dos agentes.

English

Large Language Models (LLMs) show significant potential in economic and strategic interactions, where communication via natural language is often prevalent. This raises key questions: Do LLMs behave rationally? Can they mimic human behavior? Do they tend to reach an efficient and fair outcome? What is the role of natural language in the strategic interaction? How do characteristics of the economic environment influence these dynamics? These questions become crucial concerning the economic and societal implications of integrating LLM-based agents into real-world data-driven systems, such as online retail platforms and recommender systems. While the ML community has been exploring the potential of LLMs in such multi-agent setups, varying assumptions, design choices and evaluation criteria across studies make it difficult to draw robust and meaningful conclusions. To address this, we introduce a benchmark for standardizing research on two-player, sequential, language-based games. Inspired by the economic literature, we define three base families of games with consistent parameterization, degrees of freedom and economic measures to evaluate agents' performance (self-gain), as well as the game outcome (efficiency and fairness). We develop an open-source framework for interaction simulation and analysis, and utilize it to collect a dataset of LLM vs. LLM interactions across numerous game configurations and an additional dataset of human vs. LLM interactions. Through extensive experimentation, we demonstrate how our framework and dataset can be used to: (i) compare the behavior of LLM-based agents to human players in various economic contexts; (ii) evaluate agents in both individual and collective performance measures; and (iii) quantify the effect of the economic characteristics of the environments on the behavior of agents.