PokeRL: Apprendimento per Rinforzo per Pokémon Rosso

PokeRL: Reinforcement Learning for Pokemon Red

April 12, 2026

Autori: Dheeraj Mudireddy, Sai Patibandla

cs.AI

Abstract

Pokémon Rosso è un JRPG a lungo termine con ricompense rade, osservabilità parziale e meccanismi di controllo bizzarri che lo rendono un benchmark impegnativo per l'apprendimento per rinforzo. Sebbene recenti lavori abbiano dimostrato che agenti PPO possono superare le prime due palestre utilizzando una forte modellazione delle ricompense e osservazioni ingegnerizzate, l'addestramento rimane fragile nella pratica, con agenti che spesso degenerano in loop d'azione, spam di menu o vagabondaggio improduttivo. In questo articolo presentiamo PokeRL, un sistema modulare che addestra agenti di apprendimento per rinforzo profondo a completare le missioni iniziali di Pokémon Rosso, inclusi l'uscita dalla casa del giocatore, l'esplorazione di Biancavilla per raggiungere l'erba alta e la vittoria nella prima battaglia contro il rivale. I nostri principali contributi sono un wrapper ambientale consapevole dei loop attorno all'emulatore PyBoy con mascheramento della mappa, un meccanismo multistrato anti-loop e anti-spam, e un design di ricompensa denso e gerarchico. Sosteniamo che sistemi pratici come PokeRL, che modellano esplicitamente le modalità di fallimento come loop e spam, siano un passo intermedio necessario tra benchmark giocattolo e agenti campioni della Lega Pokémon completi. Il codice è disponibile all'indirizzo https://github.com/reddheeraj/PokemonRL

English

Pokemon Red is a long-horizon JRPG with sparse rewards, partial observability, and quirky control mechanics that make it a challenging benchmark for reinforcement learning. While recent work has shown that PPO agents can clear the first two gyms using heavy reward shaping and engineered observations, training remains brittle in practice, with agents often degenerating into action loops, menu spam, or unproductive wandering. In this paper, we present PokeRL, a modular system that trains deep reinforcement learning agents to complete early game tasks in Pokemon Red, including exiting the player's house, exploring Pallet Town to reach tall grass, and winning the first rival battle. Our main contributions are a loop-aware environment wrapper around the PyBoy emulator with map masking, a multi-layer anti-loop and anti-spam mechanism, and a dense hierarchical reward design. We argue that practical systems like PokeRL, which explicitly model failure modes such as loops and spam, are a necessary intermediate step between toy benchmarks and full Pokemon League champion agents. Code is available at https://github.com/reddheeraj/PokemonRL