LLM Game-theoretic: Flujo de trabajo del agente para juegos de negociación

Game-theoretic LLM: Agent Workflow for Negotiation Games

November 8, 2024

Autores: Wenyue Hua, Ollie Liu, Lingyao Li, Alfonso Amayuelas, Julie Chen, Lucas Jiang, Mingyu Jin, Lizhou Fan, Fei Sun, William Wang, Xintong Wang, Yongfeng Zhang

cs.AI

Resumen

Este documento investiga la racionalidad de los grandes modelos de lenguaje (LLMs) en contextos de toma de decisiones estratégicas, específicamente dentro del marco de la teoría de juegos. Evaluamos varios LLMs de última generación en un espectro de juegos de información completa e incompleta. Nuestros hallazgos revelan que los LLMs frecuentemente se desvían de estrategias racionales, especialmente a medida que la complejidad del juego aumenta con matrices de pagos más grandes o árboles secuenciales más profundos. Para abordar estas limitaciones, diseñamos múltiples flujos de trabajo de teoría de juegos que guían los procesos de razonamiento y toma de decisiones de los LLMs. Estos flujos de trabajo tienen como objetivo mejorar la capacidad de los modelos para calcular los equilibrios de Nash y tomar decisiones racionales, incluso en condiciones de incertidumbre e información incompleta. Los resultados experimentales demuestran que la adopción de estos flujos de trabajo mejora significativamente la racionalidad y robustez de los LLMs en tareas de teoría de juegos. Específicamente, con el flujo de trabajo, los LLMs muestran mejoras significativas en la identificación de estrategias óptimas, logrando asignaciones casi óptimas en escenarios de negociación y reduciendo la susceptibilidad a la explotación durante las negociaciones. Además, exploramos consideraciones metaestratégicas sobre si es racional para los agentes adoptar dichos flujos de trabajo, reconociendo que la decisión de usar o renunciar al flujo de trabajo constituye en sí misma un problema de teoría de juegos. Nuestra investigación contribuye a una comprensión más profunda de las capacidades de toma de decisiones de los LLMs en contextos estratégicos y proporciona ideas para mejorar su racionalidad a través de flujos de trabajo estructurados. Los hallazgos tienen implicaciones para el desarrollo de agentes de IA más robustos y estratégicamente sólidos capaces de navegar entornos interactivos complejos. El código y los datos que respaldan este estudio están disponibles en https://github.com/Wenyueh/game_theory.

English

This paper investigates the rationality of large language models (LLMs) in strategic decision-making contexts, specifically within the framework of game theory. We evaluate several state-of-the-art LLMs across a spectrum of complete-information and incomplete-information games. Our findings reveal that LLMs frequently deviate from rational strategies, particularly as the complexity of the game increases with larger payoff matrices or deeper sequential trees. To address these limitations, we design multiple game-theoretic workflows that guide the reasoning and decision-making processes of LLMs. These workflows aim to enhance the models' ability to compute Nash Equilibria and make rational choices, even under conditions of uncertainty and incomplete information. Experimental results demonstrate that the adoption of these workflows significantly improves the rationality and robustness of LLMs in game-theoretic tasks. Specifically, with the workflow, LLMs exhibit marked improvements in identifying optimal strategies, achieving near-optimal allocations in negotiation scenarios, and reducing susceptibility to exploitation during negotiations. Furthermore, we explore the meta-strategic considerations of whether it is rational for agents to adopt such workflows, recognizing that the decision to use or forgo the workflow constitutes a game-theoretic issue in itself. Our research contributes to a deeper understanding of LLMs' decision-making capabilities in strategic contexts and provides insights into enhancing their rationality through structured workflows. The findings have implications for the development of more robust and strategically sound AI agents capable of navigating complex interactive environments. Code and data supporting this study are available at https://github.com/Wenyueh/game_theory.