MaxInfoRL: Impulsando la exploración en aprendizaje por refuerzo a través de la maximización de la ganancia de información

MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization

December 16, 2024

Autores: Bhavya Sukhija, Stelian Coros, Andreas Krause, Pieter Abbeel, Carmelo Sferrazza

cs.AI

Resumen

Los algoritmos de aprendizaje por refuerzo (RL) tienen como objetivo equilibrar la explotación de la estrategia actualmente óptima con la exploración de nuevas opciones que podrían llevar a recompensas más altas. La mayoría de los algoritmos de RL comunes utilizan exploración no dirigida, es decir, seleccionan secuencias aleatorias de acciones. La exploración también puede ser dirigida utilizando recompensas intrínsecas, como la curiosidad o la incertidumbre epistémica del modelo. Sin embargo, equilibrar efectivamente las recompensas de la tarea y las intrínsecas es desafiante y a menudo depende de la tarea. En este trabajo, presentamos un marco, MaxInfoRL, para equilibrar la exploración intrínseca y extrínseca. MaxInfoRL dirige la exploración hacia transiciones informativas, maximizando recompensas intrínsecas como la ganancia de información sobre la tarea subyacente. Al combinarse con la exploración de Boltzmann, este enfoque intercambia naturalmente la maximización de la función de valor con la entropía sobre estados, recompensas y acciones. Mostramos que nuestro enfoque logra un arrepentimiento sublineal en el entorno simplificado de bandas de brazo múltiple. Luego aplicamos esta formulación general a una variedad de métodos de RL sin modelo fuera de la política para espacios de estado-acción continuos, generando algoritmos novedosos que logran un rendimiento superior en problemas de exploración difíciles y escenarios complejos como tareas de control visual.

English

Reinforcement learning (RL) algorithms aim to balance exploiting the current best strategy with exploring new options that could lead to higher rewards. Most common RL algorithms use undirected exploration, i.e., select random sequences of actions. Exploration can also be directed using intrinsic rewards, such as curiosity or model epistemic uncertainty. However, effectively balancing task and intrinsic rewards is challenging and often task-dependent. In this work, we introduce a framework, MaxInfoRL, for balancing intrinsic and extrinsic exploration. MaxInfoRL steers exploration towards informative transitions, by maximizing intrinsic rewards such as the information gain about the underlying task. When combined with Boltzmann exploration, this approach naturally trades off maximization of the value function with that of the entropy over states, rewards, and actions. We show that our approach achieves sublinear regret in the simplified setting of multi-armed bandits. We then apply this general formulation to a variety of off-policy model-free RL methods for continuous state-action spaces, yielding novel algorithms that achieve superior performance across hard exploration problems and complex scenarios such as visual control tasks.