MaxInfoRL: Impulsionando a exploração em aprendizado por reforço através da maximização do ganho de informação

MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization

December 16, 2024

Autores: Bhavya Sukhija, Stelian Coros, Andreas Krause, Pieter Abbeel, Carmelo Sferrazza

cs.AI

Resumo

Algoritmos de aprendizado por reforço (RL) têm como objetivo equilibrar a exploração da estratégia atualmente melhor com a busca por novas opções que possam resultar em recompensas mais altas. A maioria dos algoritmos de RL comuns utiliza exploração não direcionada, ou seja, seleciona sequências aleatórias de ações. A exploração também pode ser direcionada usando recompensas intrínsecas, como curiosidade ou incerteza epistêmica do modelo. No entanto, equilibrar efetivamente as recompensas da tarefa e intrínsecas é desafiador e frequentemente depende da tarefa. Neste trabalho, introduzimos um framework, MaxInfoRL, para equilibrar a exploração intrínseca e extrínseca. O MaxInfoRL direciona a exploração para transições informativas, maximizando recompensas intrínsecas, como o ganho de informação sobre a tarefa subjacente. Quando combinado com a exploração de Boltzmann, essa abordagem naturalmente equilibra a maximização da função de valor com a da entropia sobre estados, recompensas e ações. Mostramos que nossa abordagem alcança arrependimento sublinear no cenário simplificado de bandits multi-armados. Em seguida, aplicamos essa formulação geral a uma variedade de métodos de RL sem modelo e fora de política para espaços de estado-ação contínuos, resultando em algoritmos inovadores que alcançam desempenho superior em problemas de exploração difícil e cenários complexos, como tarefas de controle visual.

English

Reinforcement learning (RL) algorithms aim to balance exploiting the current best strategy with exploring new options that could lead to higher rewards. Most common RL algorithms use undirected exploration, i.e., select random sequences of actions. Exploration can also be directed using intrinsic rewards, such as curiosity or model epistemic uncertainty. However, effectively balancing task and intrinsic rewards is challenging and often task-dependent. In this work, we introduce a framework, MaxInfoRL, for balancing intrinsic and extrinsic exploration. MaxInfoRL steers exploration towards informative transitions, by maximizing intrinsic rewards such as the information gain about the underlying task. When combined with Boltzmann exploration, this approach naturally trades off maximization of the value function with that of the entropy over states, rewards, and actions. We show that our approach achieves sublinear regret in the simplified setting of multi-armed bandits. We then apply this general formulation to a variety of off-policy model-free RL methods for continuous state-action spaces, yielding novel algorithms that achieve superior performance across hard exploration problems and complex scenarios such as visual control tasks.