PokeRL: Aprendizado por Reforço para Pokémon Red

PokeRL: Reinforcement Learning for Pokemon Red

April 12, 2026

Autores: Dheeraj Mudireddy, Sai Patibandla

cs.AI

Resumo

Pokémon Red é um JRPG de longo horizonte com recompensas esparsas, observabilidade parcial e mecânicas de controle peculiares que o tornam um benchmark desafiador para aprendizado por reforço. Embora trabalhos recentes tenham demonstrado que agentes PPO podem vencer os dois primeiros ginásios usando forte modelagem de recompensas e observações projetadas, o treinamento permanece frágil na prática, com agentes frequentemente degenerando em loops de ação, spam de menus ou vagueamento improdutivo. Neste artigo, apresentamos o PokeRL, um sistema modular que treina agentes de aprendizado por reforço profundo para completar tarefas iniciais em Pokémon Red, incluindo sair da casa do jogador, explorar a cidade de Pallet para alcançar a grama alta e vencer a primeira batalha contra o rival. Nossas principais contribuições são um wrapper de ambiente com consciência de loops em torno do emulador PyBoy com mascaramento de mapa, um mecanismo multicamadas anti-loop e anti-spam, e um projeto de recompensa hierárquica e densa. Argumentamos que sistemas práticos como o PokeRL, que modelam explicitamente modos de falha como loops e spam, são um passo intermediário necessário entre benchmarks simples e agentes completos campeões da Liga Pokémon. O código está disponível em https://github.com/reddheeraj/PokemonRL.

English

Pokemon Red is a long-horizon JRPG with sparse rewards, partial observability, and quirky control mechanics that make it a challenging benchmark for reinforcement learning. While recent work has shown that PPO agents can clear the first two gyms using heavy reward shaping and engineered observations, training remains brittle in practice, with agents often degenerating into action loops, menu spam, or unproductive wandering. In this paper, we present PokeRL, a modular system that trains deep reinforcement learning agents to complete early game tasks in Pokemon Red, including exiting the player's house, exploring Pallet Town to reach tall grass, and winning the first rival battle. Our main contributions are a loop-aware environment wrapper around the PyBoy emulator with map masking, a multi-layer anti-loop and anti-spam mechanism, and a dense hierarchical reward design. We argue that practical systems like PokeRL, which explicitly model failure modes such as loops and spam, are a necessary intermediate step between toy benchmarks and full Pokemon League champion agents. Code is available at https://github.com/reddheeraj/PokemonRL