GLEE: Un Quadro Unificato e un Benchmark per Ambienti Economici Basati sul Linguaggio

GLEE: A Unified Framework and Benchmark for Language-based Economic Environments

October 7, 2024

Autori: Eilam Shapira, Omer Madmon, Itamar Reinman, Samuel Joseph Amouyal, Roi Reichart, Moshe Tennenholtz

cs.AI

Abstract

I Large Language Models (LLM) mostrano un significativo potenziale nelle interazioni economiche e strategiche, dove la comunicazione tramite linguaggio naturale è spesso predominante. Ciò solleva domande chiave: Gli LLM si comportano in modo razionale? Possono imitare il comportamento umano? Tendono a raggiungere un risultato efficiente e equo? Qual è il ruolo del linguaggio naturale nell'interazione strategica? Come influenzano queste dinamiche le caratteristiche dell'ambiente economico? Queste domande diventano cruciali per le implicazioni economiche e sociali dell'integrazione di agenti basati su LLM in sistemi basati su dati del mondo reale, come piattaforme di vendita online e sistemi di raccomandazione. Mentre la comunità di ML sta esplorando il potenziale degli LLM in tali configurazioni multi-agente, varie assunzioni, scelte progettuali e criteri di valutazione tra gli studi rendono difficile trarre conclusioni robuste e significative. Per affrontare questo problema, introduciamo un benchmark per standardizzare la ricerca su giochi basati su linguaggio sequenziali a due giocatori. Ispirati alla letteratura economica, definiamo tre famiglie di giochi di base con parametrizzazione coerente, gradi di libertà e misure economiche per valutare le prestazioni degli agenti (auto-guadagno), nonché l'esito del gioco (efficienza ed equità). Sviluppiamo un framework open-source per la simulazione e l'analisi dell'interazione, e lo utilizziamo per raccogliere un dataset di interazioni LLM vs. LLM attraverso numerose configurazioni di gioco e un dataset aggiuntivo di interazioni umane vs. LLM. Attraverso un'ampia sperimentazione, dimostriamo come il nostro framework e dataset possano essere utilizzati per: (i) confrontare il comportamento degli agenti basati su LLM con i giocatori umani in vari contesti economici; (ii) valutare gli agenti sia in misure di prestazioni individuali che collettive; e (iii) quantificare l'effetto delle caratteristiche economiche degli ambienti sul comportamento degli agenti.

English

Large Language Models (LLMs) show significant potential in economic and strategic interactions, where communication via natural language is often prevalent. This raises key questions: Do LLMs behave rationally? Can they mimic human behavior? Do they tend to reach an efficient and fair outcome? What is the role of natural language in the strategic interaction? How do characteristics of the economic environment influence these dynamics? These questions become crucial concerning the economic and societal implications of integrating LLM-based agents into real-world data-driven systems, such as online retail platforms and recommender systems. While the ML community has been exploring the potential of LLMs in such multi-agent setups, varying assumptions, design choices and evaluation criteria across studies make it difficult to draw robust and meaningful conclusions. To address this, we introduce a benchmark for standardizing research on two-player, sequential, language-based games. Inspired by the economic literature, we define three base families of games with consistent parameterization, degrees of freedom and economic measures to evaluate agents' performance (self-gain), as well as the game outcome (efficiency and fairness). We develop an open-source framework for interaction simulation and analysis, and utilize it to collect a dataset of LLM vs. LLM interactions across numerous game configurations and an additional dataset of human vs. LLM interactions. Through extensive experimentation, we demonstrate how our framework and dataset can be used to: (i) compare the behavior of LLM-based agents to human players in various economic contexts; (ii) evaluate agents in both individual and collective performance measures; and (iii) quantify the effect of the economic characteristics of the environments on the behavior of agents.