PokeRL: Reinforcement Learning voor Pokémon Rood

PokeRL: Reinforcement Learning for Pokemon Red

April 12, 2026

Auteurs: Dheeraj Mudireddy, Sai Patibandla

cs.AI

Samenvatting

Pokemon Red is een JRPG met een lange speelduur, schaarse beloningen, gedeeltelijke observeerbaarheid en eigenaardige besturingsmechanica, waardoor het een uitdagende benchmark voor reinforcement learning is. Hoewel recent onderzoek heeft aangetoond dat PPO-agents de eerste twee gyms kunnen verslaan door middel van intensieve reward shaping en gemanipuleerde observaties, blijft de training in de praktijk broos; agents vervallen vaak in actielussen, menu-spam of onproductief rondzwerven. In dit artikel presenteren we PokeRL, een modulair systeem dat deep reinforcement learning-agents traint om vroege game-taken in Pokemon Red te voltooien, waaronder het verlaten van het huis van de speler, het verkennen van Pallet Town om bij het hoge gras te komen en het winnen van het eerste rivalengevecht. Onze belangrijkste bijdragen zijn een loop-aware environment wrapper rond de PyBoy-emulator met map masking, een meerlaags anti-loop- en anti-spam-mechanisme, en een dense hiërarchische reward-structuur. Wij beargumenteren dat praktische systemen zoals PokeRL, die faalmodi zoals loops en spam expliciet modelleren, een noodzakelijke tussenstap zijn tussen speelgoedbenchmarks en volwaardige Pokemon League-kampioenagents. Code is beschikbaar op https://github.com/reddheeraj/PokemonRL.

English

Pokemon Red is a long-horizon JRPG with sparse rewards, partial observability, and quirky control mechanics that make it a challenging benchmark for reinforcement learning. While recent work has shown that PPO agents can clear the first two gyms using heavy reward shaping and engineered observations, training remains brittle in practice, with agents often degenerating into action loops, menu spam, or unproductive wandering. In this paper, we present PokeRL, a modular system that trains deep reinforcement learning agents to complete early game tasks in Pokemon Red, including exiting the player's house, exploring Pallet Town to reach tall grass, and winning the first rival battle. Our main contributions are a loop-aware environment wrapper around the PyBoy emulator with map masking, a multi-layer anti-loop and anti-spam mechanism, and a dense hierarchical reward design. We argue that practical systems like PokeRL, which explicitly model failure modes such as loops and spam, are a necessary intermediate step between toy benchmarks and full Pokemon League champion agents. Code is available at https://github.com/reddheeraj/PokemonRL