Pearl : Un agent d'apprentissage par renforcement prêt pour la production

Pearl: A Production-ready Reinforcement Learning Agent

December 6, 2023

Auteurs: Zheqing Zhu, Rodrigo de Salvo Braz, Jalaj Bhandari, Daniel Jiang, Yi Wan, Yonathan Efroni, Liyuan Wang, Ruiyang Xu, Hongbo Guo, Alex Nikulkov, Dmytro Korenkevych, Urun Dogan, Frank Cheng, Zheng Wu, Wanqiao Xu

cs.AI

Résumé

L'apprentissage par renforcement (Reinforcement Learning, RL) propose un cadre polyvalent pour atteindre des objectifs à long terme. Sa généralité permet de formaliser une large gamme de problèmes rencontrés par les systèmes intelligents dans le monde réel, tels que la gestion des récompenses différées, la prise en compte de l'observabilité partielle, la résolution du dilemme exploration-exploitation, l'utilisation de données hors ligne pour améliorer les performances en ligne, et le respect des contraintes de sécurité. Malgré les progrès considérables réalisés par la communauté de recherche en RL pour aborder ces défis, les bibliothèques RL open source existantes tendent à se concentrer sur une partie restreinte du pipeline de solutions RL, laissant d'autres aspects largement négligés. Cet article présente Pearl, un logiciel d'agent RL prêt pour la production, conçu explicitement pour relever ces défis de manière modulaire. En plus de présenter des résultats préliminaires de benchmarking, cet article met en lumière les adoptions industrielles de Pearl pour démontrer son aptitude à un usage en production. Pearl est open source sur Github à l'adresse github.com/facebookresearch/pearl, et son site officiel se trouve à pearlagent.github.io.

English

Reinforcement Learning (RL) offers a versatile framework for achieving long-term goals. Its generality allows us to formalize a wide range of problems that real-world intelligent systems encounter, such as dealing with delayed rewards, handling partial observability, addressing the exploration and exploitation dilemma, utilizing offline data to improve online performance, and ensuring safety constraints are met. Despite considerable progress made by the RL research community in addressing these issues, existing open-source RL libraries tend to focus on a narrow portion of the RL solution pipeline, leaving other aspects largely unattended. This paper introduces Pearl, a Production-ready RL agent software package explicitly designed to embrace these challenges in a modular fashion. In addition to presenting preliminary benchmark results, this paper highlights Pearl's industry adoptions to demonstrate its readiness for production usage. Pearl is open sourced on Github at github.com/facebookresearch/pearl and its official website is located at pearlagent.github.io.