GLEE: Een Verenigd Kader en Referentiepunt voor Taalgebaseerde Economische Omgevingen

GLEE: A Unified Framework and Benchmark for Language-based Economic Environments

October 7, 2024

Auteurs: Eilam Shapira, Omer Madmon, Itamar Reinman, Samuel Joseph Amouyal, Roi Reichart, Moshe Tennenholtz

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) tonen aanzienlijk potentieel in economische en strategische interacties, waar communicatie via natuurlijke taal vaak voorkomt. Dit roept belangrijke vragen op: Gedragen LLM's zich rationeel? Kunnen ze menselijk gedrag nabootsen? Neigen ze naar een efficiënt en eerlijk resultaat? Wat is de rol van natuurlijke taal in de strategische interactie? Hoe beïnvloeden kenmerken van de economische omgeving deze dynamiek? Deze vragen worden cruciaal met betrekking tot de economische en maatschappelijke implicaties van het integreren van op LLM's gebaseerde agenten in op data gebaseerde systemen in de echte wereld, zoals online winkelplatforms en aanbevelingssystemen. Terwijl de ML-gemeenschap het potentieel van LLM's in dergelijke multi-agent opstellingen heeft onderzocht, maken variërende aannames, ontwerpkeuzes en evaluatiecriteria in studies het moeilijk om robuuste en betekenisvolle conclusies te trekken. Om dit aan te pakken, introduceren we een benchmark om onderzoek naar tweespelerige, opeenvolgende, op taal gebaseerde spellen te standaardiseren. Geïnspireerd door de economische literatuur definiëren we drie basale families van spellen met consistente parameterisatie, vrijheidsgraden en economische maatstaven om de prestaties van agenten (zelfwinst) en het spelresultaat (efficiëntie en rechtvaardigheid) te evalueren. We ontwikkelen een open-source raamwerk voor interactiesimulatie en -analyse, en gebruiken dit om een dataset van LLM vs. LLM-interacties over talrijke spelconfiguraties en een aanvullende dataset van mens vs. LLM-interacties te verzamelen. Door uitgebreid experimenten tonen we aan hoe ons raamwerk en dataset kunnen worden gebruikt om: (i) het gedrag van op LLM's gebaseerde agenten te vergelijken met menselijke spelers in verschillende economische contexten; (ii) agenten te evalueren op zowel individuele als collectieve prestatie-indicatoren; en (iii) het effect van de economische kenmerken van de omgevingen op het gedrag van agenten te kwantificeren.

English

Large Language Models (LLMs) show significant potential in economic and strategic interactions, where communication via natural language is often prevalent. This raises key questions: Do LLMs behave rationally? Can they mimic human behavior? Do they tend to reach an efficient and fair outcome? What is the role of natural language in the strategic interaction? How do characteristics of the economic environment influence these dynamics? These questions become crucial concerning the economic and societal implications of integrating LLM-based agents into real-world data-driven systems, such as online retail platforms and recommender systems. While the ML community has been exploring the potential of LLMs in such multi-agent setups, varying assumptions, design choices and evaluation criteria across studies make it difficult to draw robust and meaningful conclusions. To address this, we introduce a benchmark for standardizing research on two-player, sequential, language-based games. Inspired by the economic literature, we define three base families of games with consistent parameterization, degrees of freedom and economic measures to evaluate agents' performance (self-gain), as well as the game outcome (efficiency and fairness). We develop an open-source framework for interaction simulation and analysis, and utilize it to collect a dataset of LLM vs. LLM interactions across numerous game configurations and an additional dataset of human vs. LLM interactions. Through extensive experimentation, we demonstrate how our framework and dataset can be used to: (i) compare the behavior of LLM-based agents to human players in various economic contexts; (ii) evaluate agents in both individual and collective performance measures; and (iii) quantify the effect of the economic characteristics of the environments on the behavior of agents.