Estrategista: Aprendizado de Habilidades Estratégicas por LLMs via Busca em Árvore em Dois Níveis

Strategist: Learning Strategic Skills by LLMs via Bi-Level Tree Search

August 20, 2024

Autores: Jonathan Light, Min Cai, Weiqin Chen, Guanzhi Wang, Xiusi Chen, Wei Cheng, Yisong Yue, Ziniu Hu

cs.AI

Resumo

Neste artigo, propomos um novo método chamado Estrategista que utiliza LLMs para adquirir novas habilidades para jogar jogos multiagentes por meio de um processo de auto aprimoramento. Nosso método coleta feedback de qualidade por meio de simulações de autojogo com busca em árvore de Monte Carlo e reflexão baseada em LLM, que pode então ser usado para aprender habilidades estratégicas de alto nível, como avaliar estados que orientam a execução de baixo nível. Demonstramos como nosso método pode ser usado tanto no planejamento de ações quanto na geração de diálogos no contexto de jogos, alcançando bom desempenho em ambas as tarefas. Especificamente, demonstramos que nosso método pode ajudar a treinar agentes com melhor desempenho do que abordagens tradicionais baseadas em aprendizado por reforço e outras abordagens de aprendizado de habilidades baseadas em LLM em jogos, incluindo o Jogo de Estratégia Pura (GOPS) e The Resistance: Avalon.

English

In this paper, we propose a new method Strategist that utilizes LLMs to acquire new skills for playing multi-agent games through a self-improvement process. Our method gathers quality feedback through self-play simulations with Monte Carlo tree search and LLM-based reflection, which can then be used to learn high-level strategic skills such as how to evaluate states that guide the low-level execution.We showcase how our method can be used in both action planning and dialogue generation in the context of games, achieving good performance on both tasks. Specifically, we demonstrate that our method can help train agents with better performance than both traditional reinforcement learning-based approaches and other LLM-based skill learning approaches in games including the Game of Pure Strategy (GOPS) and The Resistance: Avalon.