Игровая модель LLM: рабочий процесс агента для игр в переговорах

Game-theoretic LLM: Agent Workflow for Negotiation Games

November 8, 2024

Авторы: Wenyue Hua, Ollie Liu, Lingyao Li, Alfonso Amayuelas, Julie Chen, Lucas Jiang, Mingyu Jin, Lizhou Fan, Fei Sun, William Wang, Xintong Wang, Yongfeng Zhang

cs.AI

Аннотация

Данная статья исследует рациональность крупных языковых моделей (LLM) в контекстах стратегического принятия решений, конкретно в рамках теории игр. Мы оцениваем несколько передовых LLM на спектре игр с полной и неполной информацией. Наши результаты показывают, что LLM часто отклоняются от рациональных стратегий, особенно по мере увеличения сложности игры с увеличением матриц выигрышей или глубины последовательных деревьев. Для преодоления этих ограничений мы разрабатываем несколько игровых рабочих процессов, которые направляют процессы рассуждения и принятия решений LLM. Эти рабочие процессы направлены на улучшение способности моделей вычислять равновесия по Нэшу и делать рациональные выборы, даже в условиях неопределенности и неполной информации. Экспериментальные результаты показывают, что применение этих рабочих процессов значительно улучшает рациональность и устойчивость LLM в игровых задачах. В частности, с помощью рабочего процесса LLM проявляют заметные улучшения в выявлении оптимальных стратегий, достижении почти оптимальных выделений в сценариях переговоров и снижении уязвимости к эксплуатации во время переговоров. Кроме того, мы исследуем мета-стратегические соображения о том, рационально ли агентам принимать такие рабочие процессы, осознавая, что решение использовать или отказаться от рабочего процесса само по себе является игровой проблемой. Наше исследование способствует более глубокому пониманию способностей LLM в принятии решений в стратегических контекстах и предоставляет идеи для улучшения их рациональности через структурированные рабочие процессы. Полученные результаты имеют значение для разработки более надежных и стратегически обоснованных искусственных интеллектуальных агентов, способных навигировать в сложных интерактивных средах. Код и данные, поддерживающие это исследование, доступны по ссылке https://github.com/Wenyueh/game_theory.

English

This paper investigates the rationality of large language models (LLMs) in strategic decision-making contexts, specifically within the framework of game theory. We evaluate several state-of-the-art LLMs across a spectrum of complete-information and incomplete-information games. Our findings reveal that LLMs frequently deviate from rational strategies, particularly as the complexity of the game increases with larger payoff matrices or deeper sequential trees. To address these limitations, we design multiple game-theoretic workflows that guide the reasoning and decision-making processes of LLMs. These workflows aim to enhance the models' ability to compute Nash Equilibria and make rational choices, even under conditions of uncertainty and incomplete information. Experimental results demonstrate that the adoption of these workflows significantly improves the rationality and robustness of LLMs in game-theoretic tasks. Specifically, with the workflow, LLMs exhibit marked improvements in identifying optimal strategies, achieving near-optimal allocations in negotiation scenarios, and reducing susceptibility to exploitation during negotiations. Furthermore, we explore the meta-strategic considerations of whether it is rational for agents to adopt such workflows, recognizing that the decision to use or forgo the workflow constitutes a game-theoretic issue in itself. Our research contributes to a deeper understanding of LLMs' decision-making capabilities in strategic contexts and provides insights into enhancing their rationality through structured workflows. The findings have implications for the development of more robust and strategically sound AI agents capable of navigating complex interactive environments. Code and data supporting this study are available at https://github.com/Wenyueh/game_theory.