MaxInfoRL: Steigerung der Exploration im Reinforcement Learning durch Maximierung des Informationsgewinns.

MaxInfoRL: Boosting exploration in reinforcement learning through information gain maximization

December 16, 2024

Autoren: Bhavya Sukhija, Stelian Coros, Andreas Krause, Pieter Abbeel, Carmelo Sferrazza

cs.AI

Zusammenfassung

Reinforcement-Learning (RL)-Algorithmen zielen darauf ab, die aktuell beste Strategie auszunutzen und gleichzeitig neue Optionen zu erkunden, die zu höheren Belohnungen führen könnten. Die meisten gängigen RL-Algorithmen verwenden eine ungerichtete Exploration, d.h. sie wählen zufällige Sequenzen von Aktionen aus. Die Exploration kann auch durch intrinsische Belohnungen gesteuert werden, wie Neugierde oder Modell-Epistemische Unsicherheit. Das effektive Ausbalancieren von Aufgaben- und intrinsischen Belohnungen ist jedoch herausfordernd und oft auf die Aufgabe bezogen. In dieser Arbeit stellen wir ein Framework, MaxInfoRL, zur Ausbalancierung von intrinsischer und extrinsischer Exploration vor. MaxInfoRL lenkt die Exploration auf informative Übergänge, indem es intrinsische Belohnungen maximiert, wie den Informationsgewinn über die zugrunde liegende Aufgabe. Bei Kombination mit Boltzmann-Exploration tauscht dieser Ansatz natürlicherweise die Maximierung der Wertefunktion mit der Entropie über Zustände, Belohnungen und Aktionen aus. Wir zeigen, dass unser Ansatz im vereinfachten Setting von Multi-Armed Bandits sublineare Reue erreicht. Anschließend wenden wir diese allgemeine Formulierung auf eine Vielzahl von Off-Policy-Modellfreien RL-Methoden für kontinuierliche Zustands-Aktionsräume an, was zu neuen Algorithmen führt, die überlegene Leistungen bei schwierigen Explorationsproblemen und komplexen Szenarien wie visuellen Steuerungsaufgaben erzielen.

English

Reinforcement learning (RL) algorithms aim to balance exploiting the current best strategy with exploring new options that could lead to higher rewards. Most common RL algorithms use undirected exploration, i.e., select random sequences of actions. Exploration can also be directed using intrinsic rewards, such as curiosity or model epistemic uncertainty. However, effectively balancing task and intrinsic rewards is challenging and often task-dependent. In this work, we introduce a framework, MaxInfoRL, for balancing intrinsic and extrinsic exploration. MaxInfoRL steers exploration towards informative transitions, by maximizing intrinsic rewards such as the information gain about the underlying task. When combined with Boltzmann exploration, this approach naturally trades off maximization of the value function with that of the entropy over states, rewards, and actions. We show that our approach achieves sublinear regret in the simplified setting of multi-armed bandits. We then apply this general formulation to a variety of off-policy model-free RL methods for continuous state-action spaces, yielding novel algorithms that achieve superior performance across hard exploration problems and complex scenarios such as visual control tasks.