PokeRL: Обучение с подкреплением для Pokemon Red

PokeRL: Reinforcement Learning for Pokemon Red

April 12, 2026

Авторы: Dheeraj Mudireddy, Sai Patibandla

cs.AI

Аннотация

Pokémon Red — это JRPG с длительным горизонтом планирования, редкими наградами, частичной наблюдаемостью и нестандартной механикой управления, что делает её сложным тестовым примером для обучения с подкреплением. Хотя recentние исследования показали, что агенты PPO способны пройти первые два стадиона с помощью интенсивного формирования наград и специально спроектированных наблюдений, на практике обучение остаётся неустойчивым: агенты часто деградируют в циклические действия, спам в меню или бесполезное блуждание. В данной статье мы представляем PokeRL — модульную систему, которая обучает агентов глубокого обучения с подкреплением выполнению ранних игровых задач в Pokémon Red, включая выход из дома игрока, исследование Паллетауна для достижения высокой травы и победу в первой битве с соперником. Нашими основными вкладами являются обёртка эмулятора PyBoy с учётом циклов и маскированием карты, многоуровневый механизм предотвращения циклов и спама, а также плотная иерархическая система наград. Мы утверждаем, что практические системы, подобные PokeRL, которые явно моделируют типичные сбои, такие как циклы и спам, являются необходимым промежуточным шагом между упрощёнными тестовыми примерами и агентами, способными стать чемпионами Лиги Покемонов. Код доступен по адресу https://github.com/reddheeraj/PokemonRL.

English

Pokemon Red is a long-horizon JRPG with sparse rewards, partial observability, and quirky control mechanics that make it a challenging benchmark for reinforcement learning. While recent work has shown that PPO agents can clear the first two gyms using heavy reward shaping and engineered observations, training remains brittle in practice, with agents often degenerating into action loops, menu spam, or unproductive wandering. In this paper, we present PokeRL, a modular system that trains deep reinforcement learning agents to complete early game tasks in Pokemon Red, including exiting the player's house, exploring Pallet Town to reach tall grass, and winning the first rival battle. Our main contributions are a loop-aware environment wrapper around the PyBoy emulator with map masking, a multi-layer anti-loop and anti-spam mechanism, and a dense hierarchical reward design. We argue that practical systems like PokeRL, which explicitly model failure modes such as loops and spam, are a necessary intermediate step between toy benchmarks and full Pokemon League champion agents. Code is available at https://github.com/reddheeraj/PokemonRL