Pearl: Ein produktionsreifer Reinforcement-Learning-Agent

Pearl: A Production-ready Reinforcement Learning Agent

December 6, 2023

Autoren: Zheqing Zhu, Rodrigo de Salvo Braz, Jalaj Bhandari, Daniel Jiang, Yi Wan, Yonathan Efroni, Liyuan Wang, Ruiyang Xu, Hongbo Guo, Alex Nikulkov, Dmytro Korenkevych, Urun Dogan, Frank Cheng, Zheng Wu, Wanqiao Xu

cs.AI

Zusammenfassung

Reinforcement Learning (RL) bietet ein vielseitiges Framework zur Erreichung langfristiger Ziele. Seine Allgemeingültigkeit ermöglicht es uns, eine breite Palette von Problemen zu formalisieren, mit denen intelligente Systeme in der realen Welt konfrontiert sind, wie z. B. der Umgang mit verzögerten Belohnungen, die Handhabung von partieller Beobachtbarkeit, die Bewältigung des Dilemmas zwischen Exploration und Exploitation, die Nutzung von Offline-Daten zur Verbesserung der Online-Leistung und die Einhaltung von Sicherheitsbeschränkungen. Trotz erheblicher Fortschritte, die die RL-Forschungsgemeinschaft bei der Bewältigung dieser Probleme erzielt hat, konzentrieren sich bestehende Open-Source-RL-Bibliotheken tendenziell auf einen engen Ausschnitt des RL-Lösungsprozesses, während andere Aspekte weitgehend unberücksichtigt bleiben. Dieses Papier stellt Pearl vor, ein produktionsreifes RL-Agenten-Softwarepaket, das explizit darauf ausgelegt ist, diese Herausforderungen in modularer Weise zu bewältigen. Neben der Präsentation vorläufiger Benchmark-Ergebnisse hebt dieses Papier die industriellen Anwendungen von Pearl hervor, um seine Produktionsreife zu demonstrieren. Pearl ist auf Github unter github.com/facebookresearch/pearl quelloffen verfügbar, und seine offizielle Website befindet sich unter pearlagent.github.io.

English

Reinforcement Learning (RL) offers a versatile framework for achieving long-term goals. Its generality allows us to formalize a wide range of problems that real-world intelligent systems encounter, such as dealing with delayed rewards, handling partial observability, addressing the exploration and exploitation dilemma, utilizing offline data to improve online performance, and ensuring safety constraints are met. Despite considerable progress made by the RL research community in addressing these issues, existing open-source RL libraries tend to focus on a narrow portion of the RL solution pipeline, leaving other aspects largely unattended. This paper introduces Pearl, a Production-ready RL agent software package explicitly designed to embrace these challenges in a modular fashion. In addition to presenting preliminary benchmark results, this paper highlights Pearl's industry adoptions to demonstrate its readiness for production usage. Pearl is open sourced on Github at github.com/facebookresearch/pearl and its official website is located at pearlagent.github.io.