PokeRL : Apprentissage par Renforcement pour Pokémon Rouge

PokeRL: Reinforcement Learning for Pokemon Red

April 12, 2026

Auteurs: Dheeraj Mudireddy, Sai Patibandla

cs.AI

Résumé

Pokémon Rouge est un JRPG à long terme caractérisé par des récompenses rares, une observabilité partielle et des mécanismes de contrôle singuliers, ce qui en fait un benchmark exigeant pour l'apprentissage par renforcement. Bien que des travaux récents aient montré que des agents PPO peuvent vaincre les deux premiers champions en utilisant un façonnage intensif des récompenses et des observations élaborées, l'entraînement reste fragile en pratique, les agents dégénérant souvent en boucles d'actions, en spam de menus ou en errances improductives. Dans cet article, nous présentons PokeRL, un système modulaire qui entraîne des agents d'apprentissage par renforcement profond à accomplir des tâches du début du jeu dans Pokémon Rouge, notamment sortir de la maison du joueur, explorer Bourg Palette pour atteindre les hautes herbes et remporter le premier combat contre le rival. Nos principales contributions sont un encapsuleur d'environnement conscient des boucles autour de l'émulateur PyBoy avec masquage cartographique, un mécanisme anti-boucle et anti-spam multicouche, et une conception de récompense hiérarchique dense. Nous soutenons que des systèmes pratiques comme PokeRL, qui modélisent explicitement les modes d'échec tels que les boucles et le spam, constituent une étape intermédiaire nécessaire entre les benchmarks simplistes et les agents capables de devenir champions de la Ligue Pokémon. Le code est disponible à l'adresse https://github.com/reddheeraj/PokemonRL.

English

Pokemon Red is a long-horizon JRPG with sparse rewards, partial observability, and quirky control mechanics that make it a challenging benchmark for reinforcement learning. While recent work has shown that PPO agents can clear the first two gyms using heavy reward shaping and engineered observations, training remains brittle in practice, with agents often degenerating into action loops, menu spam, or unproductive wandering. In this paper, we present PokeRL, a modular system that trains deep reinforcement learning agents to complete early game tasks in Pokemon Red, including exiting the player's house, exploring Pallet Town to reach tall grass, and winning the first rival battle. Our main contributions are a loop-aware environment wrapper around the PyBoy emulator with map masking, a multi-layer anti-loop and anti-spam mechanism, and a dense hierarchical reward design. We argue that practical systems like PokeRL, which explicitly model failure modes such as loops and spam, are a necessary intermediate step between toy benchmarks and full Pokemon League champion agents. Code is available at https://github.com/reddheeraj/PokemonRL