PokéLLMon: Um Agente de Paridade Humana para Batalhas Pokémon com Modelos de Linguagem de Grande Escala

PokéLLMon: A Human-Parity Agent for Pokémon Battles with Large Language Models

February 2, 2024

Autores: Sihao Hu, Tiansheng Huang, Ling Liu

cs.AI

Resumo

Apresentamos o Pok\'eLLMon, o primeiro agente incorporado em LLM que alcança desempenho equivalente ao humano em jogos de batalha tática, como demonstrado em batalhas de Pok\'emon. O design do Pok\'eLLMon incorpora três estratégias principais: (i) Aprendizado por reforço em contexto, que consome instantaneamente feedback baseado em texto derivado de batalhas para refinar iterativamente a política; (ii) Geração aumentada por conhecimento, que recupera conhecimento externo para combater alucinações e permite que o agente aja de maneira oportuna e adequada; (iii) Geração consistente de ações para mitigar o fenômeno de troca em pânico, quando o agente enfrenta um oponente poderoso e deseja evitar a batalha. Demonstramos que batalhas online contra humanos evidenciam as estratégias de batalha semelhantes às humanas e a tomada de decisão em tempo real do Pok\'eLLMon, alcançando uma taxa de vitória de 49% nas competições Ladder e 56% nas batalhas convidadas. Nossa implementação e registros de batalhas jogáveis estão disponíveis em: https://github.com/git-disl/PokeLLMon.

English

We introduce Pok\'eLLMon, the first LLM-embodied agent that achieves human-parity performance in tactical battle games, as demonstrated in Pok\'emon battles. The design of Pok\'eLLMon incorporates three key strategies: (i) In-context reinforcement learning that instantly consumes text-based feedback derived from battles to iteratively refine the policy; (ii) Knowledge-augmented generation that retrieves external knowledge to counteract hallucination and enables the agent to act timely and properly; (iii) Consistent action generation to mitigate the panic switching phenomenon when the agent faces a powerful opponent and wants to elude the battle. We show that online battles against human demonstrates Pok\'eLLMon's human-like battle strategies and just-in-time decision making, achieving 49\% of win rate in the Ladder competitions and 56\% of win rate in the invited battles. Our implementation and playable battle logs are available at: https://github.com/git-disl/PokeLLMon.