LLM Game-theoretic: Fluxo de Agente para Jogos de Negociação

Game-theoretic LLM: Agent Workflow for Negotiation Games

November 8, 2024

Autores: Wenyue Hua, Ollie Liu, Lingyao Li, Alfonso Amayuelas, Julie Chen, Lucas Jiang, Mingyu Jin, Lizhou Fan, Fei Sun, William Wang, Xintong Wang, Yongfeng Zhang

cs.AI

Resumo

Este artigo investiga a racionalidade de grandes modelos de linguagem (LLMs) em contextos de tomada de decisão estratégica, especificamente dentro do framework da teoria dos jogos. Avaliamos diversos LLMs de ponta em uma gama de jogos de informação completa e incompleta. Nossas descobertas revelam que os LLMs frequentemente se desviam de estratégias racionais, especialmente à medida que a complexidade do jogo aumenta com matrizes de recompensa maiores ou árvores sequenciais mais profundas. Para lidar com essas limitações, projetamos múltiplos fluxos de trabalho de teoria dos jogos que orientam os processos de raciocínio e tomada de decisão dos LLMs. Esses fluxos de trabalho visam aprimorar a capacidade dos modelos de calcular Equilíbrios de Nash e fazer escolhas racionais, mesmo sob condições de incerteza e informação incompleta. Resultados experimentais demonstram que a adoção desses fluxos de trabalho melhora significativamente a racionalidade e robustez dos LLMs em tarefas de teoria dos jogos. Especificamente, com o fluxo de trabalho, os LLMs apresentam melhorias significativas na identificação de estratégias ótimas, alcançando alocações quase ótimas em cenários de negociação e reduzindo a suscetibilidade à exploração durante negociações. Além disso, exploramos as considerações metaestratégicas sobre se é racional para agentes adotarem tais fluxos de trabalho, reconhecendo que a decisão de usar ou renunciar ao fluxo de trabalho constitui uma questão de teoria dos jogos em si. Nossa pesquisa contribui para uma compreensão mais profunda das capacidades de tomada de decisão dos LLMs em contextos estratégicos e fornece insights para aprimorar sua racionalidade por meio de fluxos de trabalho estruturados. As descobertas têm implicações para o desenvolvimento de agentes de IA mais robustos e estrategicamente sólidos capazes de navegar em ambientes interativos complexos. O código e os dados que apoiam este estudo estão disponíveis em https://github.com/Wenyueh/game_theory.

English

This paper investigates the rationality of large language models (LLMs) in strategic decision-making contexts, specifically within the framework of game theory. We evaluate several state-of-the-art LLMs across a spectrum of complete-information and incomplete-information games. Our findings reveal that LLMs frequently deviate from rational strategies, particularly as the complexity of the game increases with larger payoff matrices or deeper sequential trees. To address these limitations, we design multiple game-theoretic workflows that guide the reasoning and decision-making processes of LLMs. These workflows aim to enhance the models' ability to compute Nash Equilibria and make rational choices, even under conditions of uncertainty and incomplete information. Experimental results demonstrate that the adoption of these workflows significantly improves the rationality and robustness of LLMs in game-theoretic tasks. Specifically, with the workflow, LLMs exhibit marked improvements in identifying optimal strategies, achieving near-optimal allocations in negotiation scenarios, and reducing susceptibility to exploitation during negotiations. Furthermore, we explore the meta-strategic considerations of whether it is rational for agents to adopt such workflows, recognizing that the decision to use or forgo the workflow constitutes a game-theoretic issue in itself. Our research contributes to a deeper understanding of LLMs' decision-making capabilities in strategic contexts and provides insights into enhancing their rationality through structured workflows. The findings have implications for the development of more robust and strategically sound AI agents capable of navigating complex interactive environments. Code and data supporting this study are available at https://github.com/Wenyueh/game_theory.