PokéLLMon: Un Agente a Parità Umana per le Battaglie Pokémon con Modelli Linguistici di Grandi Dimensioni

PokéLLMon: A Human-Parity Agent for Pokémon Battles with Large Language Models

February 2, 2024

Autori: Sihao Hu, Tiansheng Huang, Ling Liu

cs.AI

Abstract

Presentiamo Pok\'eLLMon, il primo agente incarnato da un LLM che raggiunge prestazioni pari a quelle umane nei giochi di battaglia tattici, come dimostrato nelle battaglie Pok\'emon. Il design di Pok\'eLLMon incorpora tre strategie chiave: (i) Apprendimento per rinforzo in contesto che consuma istantaneamente feedback testuali derivati dalle battaglie per affinare iterativamente la politica; (ii) Generazione aumentata dalla conoscenza che recupera informazioni esterne per contrastare l'allucinazione e consente all'agente di agire tempestivamente e correttamente; (iii) Generazione coerente di azioni per mitigare il fenomeno del cambio panico quando l'agente si trova di fronte a un avversario potente e desidera eludere la battaglia. Dimostriamo che le battaglie online contro esseri umani evidenziano le strategie di battaglia simili a quelle umane e il processo decisionale tempestivo di Pok\'eLLMon, raggiungendo un tasso di vittoria del 49% nelle competizioni Ladder e del 56% nelle battaglie invitate. La nostra implementazione e i log delle battaglie giocabili sono disponibili all'indirizzo: https://github.com/git-disl/PokeLLMon.

English

We introduce Pok\'eLLMon, the first LLM-embodied agent that achieves human-parity performance in tactical battle games, as demonstrated in Pok\'emon battles. The design of Pok\'eLLMon incorporates three key strategies: (i) In-context reinforcement learning that instantly consumes text-based feedback derived from battles to iteratively refine the policy; (ii) Knowledge-augmented generation that retrieves external knowledge to counteract hallucination and enables the agent to act timely and properly; (iii) Consistent action generation to mitigate the panic switching phenomenon when the agent faces a powerful opponent and wants to elude the battle. We show that online battles against human demonstrates Pok\'eLLMon's human-like battle strategies and just-in-time decision making, achieving 49\% of win rate in the Ladder competitions and 56\% of win rate in the invited battles. Our implementation and playable battle logs are available at: https://github.com/git-disl/PokeLLMon.