PokeRL: Bestärkendes Lernen für Pokemon Rot

PokeRL: Reinforcement Learning for Pokemon Red

April 12, 2026

Autoren: Dheeraj Mudireddy, Sai Patibandla

cs.AI

Zusammenfassung

Pokémon Rot ist ein JRPG mit langem Zeithorizont, spärlicher Belohnungsstruktur, teilweiser Beobachtbarkeit und eigenwilligen Steuerungsmechaniken, was es zu einer anspruchsvollen Benchmark für bestärkendes Lernen macht. Während aktuelle Arbeiten gezeigt haben, dass PPO-Agenten mit starker Belohnungsformung und konstruierten Beobachtungen die ersten beiden Arenen meistern können, erweist sich das Training in der Praxis als anfällig; Agenten verfallen oft in Aktionsschleifen, Menü-Spam oder unproduktives Umherirren. In diesem Artikel stellen wir PokeRL vor, ein modulares System, das tiefe bestärkende Lernagenten trainiert, um frühe Spielaufgaben in Pokémon Rot zu bewältigen, darunter das Verlassen des Spielerhauses, die Erkundung von Alabastia bis zum Betreten hohen Grases und den Sieg im ersten Rivalenkampf. Unsere Hauptbeiträge sind ein schleifenbewusster Environment-Wrapper um den PyBoy-Emulator mit Kartendarstellung, ein mehrschichtiger Anti-Schleifen- und Anti-Spam-Mechanismus sowie ein dichtes hierarchisches Belohnungsdesign. Wir argumentieren, dass praktische Systeme wie PokeRL, die Fehlermodi wie Schleifen und Spam explizit modellieren, ein notwendiger Zwischenschritt zwischen einfachen Benchmarks und vollwertigen Pokémon-Liga-Champion-Agenten sind. Code ist verfügbar unter https://github.com/reddheeraj/PokemonRL.

English

Pokemon Red is a long-horizon JRPG with sparse rewards, partial observability, and quirky control mechanics that make it a challenging benchmark for reinforcement learning. While recent work has shown that PPO agents can clear the first two gyms using heavy reward shaping and engineered observations, training remains brittle in practice, with agents often degenerating into action loops, menu spam, or unproductive wandering. In this paper, we present PokeRL, a modular system that trains deep reinforcement learning agents to complete early game tasks in Pokemon Red, including exiting the player's house, exploring Pallet Town to reach tall grass, and winning the first rival battle. Our main contributions are a loop-aware environment wrapper around the PyBoy emulator with map masking, a multi-layer anti-loop and anti-spam mechanism, and a dense hierarchical reward design. We argue that practical systems like PokeRL, which explicitly model failure modes such as loops and spam, are a necessary intermediate step between toy benchmarks and full Pokemon League champion agents. Code is available at https://github.com/reddheeraj/PokemonRL