Stratege: Erlernen strategischer Fähigkeiten durch LLMs mittels Bi-Level-Baumsuche.

Strategist: Learning Strategic Skills by LLMs via Bi-Level Tree Search

August 20, 2024

Autoren: Jonathan Light, Min Cai, Weiqin Chen, Guanzhi Wang, Xiusi Chen, Wei Cheng, Yisong Yue, Ziniu Hu

cs.AI

Zusammenfassung

In diesem Paper schlagen wir eine neue Methode namens Strategist vor, die LLMs nutzt, um neue Fähigkeiten für das Spielen von Multi-Agenten-Spielen durch einen Selbstverbesserungsprozess zu erwerben. Unsere Methode sammelt qualitatives Feedback durch Selbstspiel-Simulationen mit Monte-Carlo-Baumsuche und LLM-basierter Reflexion, das dann verwendet werden kann, um hochrangige strategische Fähigkeiten wie die Bewertung von Zuständen zu erlernen, die die Ausführung auf niedriger Ebene leiten. Wir zeigen, wie unsere Methode sowohl bei der Aktionsplanung als auch bei der Dialoggenerierung im Kontext von Spielen eingesetzt werden kann und dabei gute Leistungen bei beiden Aufgaben erzielt. Insbesondere zeigen wir, dass unsere Methode dazu beitragen kann, Agenten mit besserer Leistung als sowohl traditionelle auf Verstärkungslernen basierende Ansätze als auch andere LLM-basierte Fähigkeitserlernungsansätze in Spielen wie dem Spiel reiner Strategie (GOPS) und The Resistance: Avalon zu trainieren.

English

In this paper, we propose a new method Strategist that utilizes LLMs to acquire new skills for playing multi-agent games through a self-improvement process. Our method gathers quality feedback through self-play simulations with Monte Carlo tree search and LLM-based reflection, which can then be used to learn high-level strategic skills such as how to evaluate states that guide the low-level execution.We showcase how our method can be used in both action planning and dialogue generation in the context of games, achieving good performance on both tasks. Specifically, we demonstrate that our method can help train agents with better performance than both traditional reinforcement learning-based approaches and other LLM-based skill learning approaches in games including the Game of Pure Strategy (GOPS) and The Resistance: Avalon.