MaxInfoRL: Увеличение исследования в обучении с подкреплением через максимизацию прироста информации

MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization

December 16, 2024

Авторы: Bhavya Sukhija, Stelian Coros, Andreas Krause, Pieter Abbeel, Carmelo Sferrazza

cs.AI

Аннотация

Алгоритмы обучения с подкреплением (RL) нацелены на балансировку между использованием текущей лучшей стратегии и исследованием новых вариантов, которые могут привести к более высоким вознаграждениям. Большинство распространенных алгоритмов RL используют ненаправленное исследование, т.е. выбирают случайные последовательности действий. Исследование также может быть направленным с использованием внутренних вознаграждений, таких как любопытство или эпистемическая неопределенность модели. Однако эффективное балансирование задач и внутренних вознаграждений является сложной задачей и часто зависит от задачи. В данной работе мы представляем фреймворк MaxInfoRL для балансировки внутреннего и внешнего исследования. MaxInfoRL направляет исследование на информативные переходы, максимизируя внутренние вознаграждения, такие как прирост информации о базовой задаче. При комбинировании с исследованием Больцмана, этот подход естественным образом балансирует максимизацию функции ценности с энтропией по состояниям, вознаграждениям и действиям. Мы показываем, что наш подход достигает сублинейного регрета в упрощенной среде многоруких бандитов. Затем мы применяем эту общую формулировку к различным методам RL без модели для непрерывных пространств состояний-действий, создавая новые алгоритмы, которые достигают превосходной производительности в сложных задачах и сценариях, таких как задачи визуального управления.

English

Reinforcement learning (RL) algorithms aim to balance exploiting the current best strategy with exploring new options that could lead to higher rewards. Most common RL algorithms use undirected exploration, i.e., select random sequences of actions. Exploration can also be directed using intrinsic rewards, such as curiosity or model epistemic uncertainty. However, effectively balancing task and intrinsic rewards is challenging and often task-dependent. In this work, we introduce a framework, MaxInfoRL, for balancing intrinsic and extrinsic exploration. MaxInfoRL steers exploration towards informative transitions, by maximizing intrinsic rewards such as the information gain about the underlying task. When combined with Boltzmann exploration, this approach naturally trades off maximization of the value function with that of the entropy over states, rewards, and actions. We show that our approach achieves sublinear regret in the simplified setting of multi-armed bandits. We then apply this general formulation to a variety of off-policy model-free RL methods for continuous state-action spaces, yielding novel algorithms that achieve superior performance across hard exploration problems and complex scenarios such as visual control tasks.