Apprendimento per Rinforzo con Gradient Boosting

Gradient Boosting Reinforcement Learning

July 11, 2024

Autori: Benjamin Fuhrer, Chen Tessler, Gal Dalal

cs.AI

Abstract

Le reti neurali (NN) ottengono risultati notevoli in vari compiti, ma mancano di caratteristiche chiave: interpretabilità, supporto per feature categoriche e implementazioni leggere adatte a dispositivi edge. Sebbene gli sforzi in corso mirino a risolvere queste sfide, gli alberi di potenziamento del gradiente (GBT) soddisfano intrinsecamente questi requisiti. Di conseguenza, i GBT sono diventati il metodo di riferimento per i compiti di apprendimento supervisionato in molte applicazioni e competizioni del mondo reale. Tuttavia, il loro utilizzo in scenari di apprendimento online, in particolare nell'apprendimento per rinforzo (RL), è stato limitato. In questo lavoro, colmiamo questa lacuna introducendo Gradient-Boosting RL (GBRL), un framework che estende i vantaggi dei GBT al dominio dell'RL. Utilizzando il framework GBRL, implementiamo vari algoritmi actor-critic e confrontiamo le loro prestazioni con le controparti basate su NN. Ispirati dalle strutture condivise nelle NN, introduciamo un approccio di condivisione degli alberi per le funzioni di politica e valore con tassi di apprendimento distinti, migliorando l'efficienza dell'apprendimento su milioni di interazioni. GBRL raggiunge prestazioni competitive in una vasta gamma di compiti, eccellendo in domini con feature strutturate o categoriche. Inoltre, presentiamo un'implementazione ad alte prestazioni, accelerata da GPU, che si integra perfettamente con le librerie RL ampiamente utilizzate (disponibile su https://github.com/NVlabs/gbrl). GBRL amplia il toolkit per i professionisti dell'RL, dimostrando la fattibilità e il potenziale dei GBT all'interno del paradigma dell'RL, in particolare in domini caratterizzati da feature strutturate o categoriche.

English

Neural networks (NN) achieve remarkable results in various tasks, but lack key characteristics: interpretability, support for categorical features, and lightweight implementations suitable for edge devices. While ongoing efforts aim to address these challenges, Gradient Boosting Trees (GBT) inherently meet these requirements. As a result, GBTs have become the go-to method for supervised learning tasks in many real-world applications and competitions. However, their application in online learning scenarios, notably in reinforcement learning (RL), has been limited. In this work, we bridge this gap by introducing Gradient-Boosting RL (GBRL), a framework that extends the advantages of GBT to the RL domain. Using the GBRL framework, we implement various actor-critic algorithms and compare their performance with their NN counterparts. Inspired by shared backbones in NN we introduce a tree-sharing approach for policy and value functions with distinct learning rates, enhancing learning efficiency over millions of interactions. GBRL achieves competitive performance across a diverse array of tasks, excelling in domains with structured or categorical features. Additionally, we present a high-performance, GPU-accelerated implementation that integrates seamlessly with widely-used RL libraries (available at https://github.com/NVlabs/gbrl). GBRL expands the toolkit for RL practitioners, demonstrating the viability and promise of GBT within the RL paradigm, particularly in domains characterized by structured or categorical features.