Pearl: Een productieklaar reinforcement learning-agent

Samenvatting

Reinforcement Learning (RL) biedt een veelzijdig raamwerk voor het bereiken van langetermijndoelen. De algemeenheid ervan stelt ons in staat een breed scala aan problemen te formaliseren waarmee intelligente systemen in de echte wereld te maken krijgen, zoals het omgaan met uitgestelde beloningen, het hanteren van gedeeltelijke waarneembaarheid, het aanpakken van het exploratie- en exploitatie-dilemma, het benutten van offline data om online prestaties te verbeteren, en het waarborgen van veiligheidsbeperkingen. Ondanks de aanzienlijke vooruitgang die de RL-onderzoeksgemeenschap heeft geboekt bij het aanpakken van deze problemen, richten bestaande open-source RL-bibliotheken zich doorgaans op een smal deel van de RL-oplossingspijplijn, waardoor andere aspecten grotendeels onbeheerd blijven. Dit artikel introduceert Pearl, een productieklaar RL-agent softwarepakket dat expliciet is ontworpen om deze uitdagingen op een modulaire manier aan te gaan. Naast het presenteren van voorlopige benchmarkresultaten, benadrukt dit artikel de industriële adoptie van Pearl om de productiegereedheid ervan aan te tonen. Pearl is open source beschikbaar op Github via github.com/facebookresearch/pearl en de officiële website is te vinden op pearlagent.github.io.

English

Reinforcement Learning (RL) offers a versatile framework for achieving long-term goals. Its generality allows us to formalize a wide range of problems that real-world intelligent systems encounter, such as dealing with delayed rewards, handling partial observability, addressing the exploration and exploitation dilemma, utilizing offline data to improve online performance, and ensuring safety constraints are met. Despite considerable progress made by the RL research community in addressing these issues, existing open-source RL libraries tend to focus on a narrow portion of the RL solution pipeline, leaving other aspects largely unattended. This paper introduces Pearl, a Production-ready RL agent software package explicitly designed to embrace these challenges in a modular fashion. In addition to presenting preliminary benchmark results, this paper highlights Pearl's industry adoptions to demonstrate its readiness for production usage. Pearl is open sourced on Github at github.com/facebookresearch/pearl and its official website is located at pearlagent.github.io.

Pearl: Een productieklaar reinforcement learning-agent

Pearl: A Production-ready Reinforcement Learning Agent

Samenvatting

Support