Gradient Boosting Verstärkendes Lernen

Gradient Boosting Reinforcement Learning

July 11, 2024

Autoren: Benjamin Fuhrer, Chen Tessler, Gal Dalal

cs.AI

Zusammenfassung

Neuronale Netzwerke (NN) erzielen bemerkenswerte Ergebnisse in verschiedenen Aufgaben, weisen jedoch einige Schlüsselmerkmale nicht auf: Interpretierbarkeit, Unterstützung für kategoriale Merkmale und leichte Implementierungen, die für Edge-Geräte geeignet sind. Während laufende Bemühungen darauf abzielen, diese Herausforderungen anzugehen, erfüllen Gradient Boosting Trees (GBT) von Natur aus diese Anforderungen. Als Ergebnis sind GBTs zur bevorzugten Methode für überwachtes Lernen in vielen realen Anwendungen und Wettbewerben geworden. Ihre Anwendung in Szenarien des Online-Lernens, insbesondere im Reinforcement Learning (RL), war jedoch begrenzt. In dieser Arbeit überbrücken wir diese Lücke, indem wir Gradient-Boosting RL (GBRL) einführen, ein Framework, das die Vorteile von GBT auf den RL-Bereich ausweitet. Unter Verwendung des GBRL-Frameworks implementieren wir verschiedene Actor-Critic-Algorithmen und vergleichen ihre Leistung mit ihren NN-Gegenstücken. Inspiriert von gemeinsamen Grundstrukturen in NN führen wir einen Ansatz des Baumteilens für Richtlinien und Wertefunktionen mit unterschiedlichen Lernraten ein, um die Effizienz des Lernens über Millionen von Interaktionen zu steigern. GBRL erzielt eine wettbewerbsfähige Leistung in einer Vielzahl von Aufgaben und zeichnet sich in Domänen mit strukturierten oder kategorialen Merkmalen aus. Darüber hinaus präsentieren wir eine leistungsstarke, GPU-beschleunigte Implementierung, die nahtlos in weit verbreitete RL-Bibliotheken integriert ist (verfügbar unter https://github.com/NVlabs/gbrl). GBRL erweitert das Toolkit für RL-Praktiker und zeigt die Machbarkeit und das Potenzial von GBT innerhalb des RL-Paradigmas auf, insbesondere in Domänen, die durch strukturierte oder kategoriale Merkmale gekennzeichnet sind.

English

Neural networks (NN) achieve remarkable results in various tasks, but lack key characteristics: interpretability, support for categorical features, and lightweight implementations suitable for edge devices. While ongoing efforts aim to address these challenges, Gradient Boosting Trees (GBT) inherently meet these requirements. As a result, GBTs have become the go-to method for supervised learning tasks in many real-world applications and competitions. However, their application in online learning scenarios, notably in reinforcement learning (RL), has been limited. In this work, we bridge this gap by introducing Gradient-Boosting RL (GBRL), a framework that extends the advantages of GBT to the RL domain. Using the GBRL framework, we implement various actor-critic algorithms and compare their performance with their NN counterparts. Inspired by shared backbones in NN we introduce a tree-sharing approach for policy and value functions with distinct learning rates, enhancing learning efficiency over millions of interactions. GBRL achieves competitive performance across a diverse array of tasks, excelling in domains with structured or categorical features. Additionally, we present a high-performance, GPU-accelerated implementation that integrates seamlessly with widely-used RL libraries (available at https://github.com/NVlabs/gbrl). GBRL expands the toolkit for RL practitioners, demonstrating the viability and promise of GBT within the RL paradigm, particularly in domains characterized by structured or categorical features.