MaxInfoRL : Stimuler l'exploration en apprentissage par renforcement grâce à la maximisation du gain d'information

MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization

December 16, 2024

Auteurs: Bhavya Sukhija, Stelian Coros, Andreas Krause, Pieter Abbeel, Carmelo Sferrazza

cs.AI

Résumé

Les algorithmes d'apprentissage par renforcement (RL) visent à équilibrer l'exploitation de la meilleure stratégie actuelle avec l'exploration de nouvelles options pouvant conduire à des récompenses plus élevées. La plupart des algorithmes RL courants utilisent une exploration non dirigée, c'est-à-dire qu'ils sélectionnent des séquences aléatoires d'actions. L'exploration peut également être dirigée en utilisant des récompenses intrinsèques, telles que la curiosité ou l'incertitude épistémique du modèle. Cependant, équilibrer efficacement les récompenses de la tâche et les récompenses intrinsèques est difficile et souvent dépendant de la tâche. Dans ce travail, nous introduisons un cadre, MaxInfoRL, pour équilibrer l'exploration intrinsèque et extrinsèque. MaxInfoRL oriente l'exploration vers des transitions informatives, en maximisant les récompenses intrinsèques telles que le gain d'information sur la tâche sous-jacente. Lorsqu'il est combiné à l'exploration de Boltzmann, cette approche échange naturellement la maximisation de la fonction de valeur avec celle de l'entropie sur les états, les récompenses et les actions. Nous montrons que notre approche atteint un regret sous-linéaire dans le cadre simplifié des bandits manchots multi-bras. Nous appliquons ensuite cette formulation générale à une variété de méthodes RL sans modèle hors politique pour des espaces d'états-actions continus, produisant des algorithmes novateurs qui atteignent des performances supérieures sur des problèmes d'exploration difficiles et des scénarios complexes tels que des tâches de contrôle visuel.

English

Reinforcement learning (RL) algorithms aim to balance exploiting the current best strategy with exploring new options that could lead to higher rewards. Most common RL algorithms use undirected exploration, i.e., select random sequences of actions. Exploration can also be directed using intrinsic rewards, such as curiosity or model epistemic uncertainty. However, effectively balancing task and intrinsic rewards is challenging and often task-dependent. In this work, we introduce a framework, MaxInfoRL, for balancing intrinsic and extrinsic exploration. MaxInfoRL steers exploration towards informative transitions, by maximizing intrinsic rewards such as the information gain about the underlying task. When combined with Boltzmann exploration, this approach naturally trades off maximization of the value function with that of the entropy over states, rewards, and actions. We show that our approach achieves sublinear regret in the simplified setting of multi-armed bandits. We then apply this general formulation to a variety of off-policy model-free RL methods for continuous state-action spaces, yielding novel algorithms that achieve superior performance across hard exploration problems and complex scenarios such as visual control tasks.