Pearl: Un Agente di Apprendimento per Rinforzo Pronto per la Produzione
Pearl: A Production-ready Reinforcement Learning Agent
December 6, 2023
Autori: Zheqing Zhu, Rodrigo de Salvo Braz, Jalaj Bhandari, Daniel Jiang, Yi Wan, Yonathan Efroni, Liyuan Wang, Ruiyang Xu, Hongbo Guo, Alex Nikulkov, Dmytro Korenkevych, Urun Dogan, Frank Cheng, Zheng Wu, Wanqiao Xu
cs.AI
Abstract
Il Reinforcement Learning (RL) offre un framework versatile per il raggiungimento di obiettivi a lungo termine. La sua generalità ci permette di formalizzare un'ampia gamma di problemi che i sistemi intelligenti del mondo reale incontrano, come gestire ricompense ritardate, affrontare l'osservabilità parziale, risolvere il dilemma tra esplorazione e sfruttamento, utilizzare dati offline per migliorare le prestazioni online e garantire il rispetto dei vincoli di sicurezza. Nonostante i notevoli progressi compiuti dalla comunità di ricerca nel RL nell'affrontare queste problematiche, le librerie RL open source esistenti tendono a concentrarsi su una porzione ristretta della pipeline di soluzioni RL, lasciando altri aspetti largamente trascurati. Questo articolo introduce Pearl, un pacchetto software per agenti RL pronto per la produzione, progettato esplicitamente per affrontare queste sfide in modo modulare. Oltre a presentare risultati preliminari di benchmark, l'articolo evidenzia le adozioni industriali di Pearl per dimostrarne l'idoneità all'uso in produzione. Pearl è open source su Github all'indirizzo github.com/facebookresearch/pearl e il suo sito ufficiale si trova su pearlagent.github.io.
English
Reinforcement Learning (RL) offers a versatile framework for achieving
long-term goals. Its generality allows us to formalize a wide range of problems
that real-world intelligent systems encounter, such as dealing with delayed
rewards, handling partial observability, addressing the exploration and
exploitation dilemma, utilizing offline data to improve online performance, and
ensuring safety constraints are met. Despite considerable progress made by the
RL research community in addressing these issues, existing open-source RL
libraries tend to focus on a narrow portion of the RL solution pipeline,
leaving other aspects largely unattended. This paper introduces Pearl, a
Production-ready RL agent software package explicitly designed to embrace these
challenges in a modular fashion. In addition to presenting preliminary
benchmark results, this paper highlights Pearl's industry adoptions to
demonstrate its readiness for production usage. Pearl is open sourced on Github
at github.com/facebookresearch/pearl and its official website is located at
pearlagent.github.io.