戦略家：LLMによるバイレベル木探索を通じた戦略スキルの学習

Strategist: Learning Strategic Skills by LLMs via Bi-Level Tree Search

August 20, 2024

著者: Jonathan Light, Min Cai, Weiqin Chen, Guanzhi Wang, Xiusi Chen, Wei Cheng, Yisong Yue, Ziniu Hu

cs.AI

要旨

本論文では、LLM（Large Language Models）を活用した新しい手法Strategistを提案し、自己改善プロセスを通じてマルチエージェントゲームをプレイするための新しいスキルを獲得します。当手法は、Monte Carlo tree searchとLLMベースの反映を用いた自己対戦シミュレーションによって質の高いフィードバックを収集し、それを活用して低レベルの実行を導く状態の評価方法など、高レベルの戦略スキルを学習します。当手法がゲームの行動計画と対話生成の両方で活用され、ゲームの文脈で良好なパフォーマンスを達成する方法を示します。具体的には、当手法が、GOP（Game of Pure Strategy）やThe Resistance: Avalonなどのゲームにおいて、従来の強化学習ベースのアプローチや他のLLMベースのスキル学習アプローチよりも優れたパフォーマンスを持つエージェントのトレーニングを支援できることを示します。

English

In this paper, we propose a new method Strategist that utilizes LLMs to acquire new skills for playing multi-agent games through a self-improvement process. Our method gathers quality feedback through self-play simulations with Monte Carlo tree search and LLM-based reflection, which can then be used to learn high-level strategic skills such as how to evaluate states that guide the low-level execution.We showcase how our method can be used in both action planning and dialogue generation in the context of games, achieving good performance on both tasks. Specifically, we demonstrate that our method can help train agents with better performance than both traditional reinforcement learning-based approaches and other LLM-based skill learning approaches in games including the Game of Pure Strategy (GOPS) and The Resistance: Avalon.