SERL: Een Softwarepakket voor Sample-Efficiënt Robotic Reinforcement Learning

Samenvatting

De afgelopen jaren is aanzienlijke vooruitgang geboekt op het gebied van robotische reinforcement learning (RL), waardoor methoden zijn ontwikkeld die complexe beeldobservaties verwerken, in de echte wereld kunnen trainen en aanvullende gegevens kunnen integreren, zoals demonstraties en eerdere ervaringen. Desondanks blijft robotische RL moeilijk in gebruik. Onder praktijkmensen wordt erkend dat de specifieke implementatiedetails van deze algoritmen vaak net zo belangrijk (zo niet belangrijker) zijn voor de prestaties als de keuze van het algoritme. Wij stellen dat een belangrijke uitdaging voor de brede adoptie van robotische RL, evenals de verdere ontwikkeling van robotische RL-methoden, de relatieve ontoegankelijkheid van dergelijke methoden is. Om deze uitdaging aan te pakken, hebben we een zorgvuldig geïmplementeerde bibliotheek ontwikkeld die een sample-efficiënt off-policy deep RL-methode bevat, samen met methoden voor het berekenen van beloningen en het resetten van de omgeving, een hoogwaardige controller voor een veelgebruikte robot, en een aantal uitdagende voorbeeldtaken. We bieden deze bibliotheek aan als bron voor de gemeenschap, beschrijven de ontwerpkeuzes en presenteren experimentele resultaten. Misschien verrassend, ontdekken we dat onze implementatie zeer efficiënt kan leren, waarbij beleidsregels voor PCB-bordmontage, kabelroutering en objectverplaatsing worden verworven in gemiddeld 25 tot 50 minuten training per beleid, wat een verbetering is ten opzichte van state-of-the-art resultaten die in de literatuur voor vergelijkbare taken zijn gerapporteerd. Deze beleidsregels bereiken perfecte of bijna perfecte slagingspercentages, extreme robuustheid zelfs onder verstoringen, en vertonen emergent herstel- en correctiegedrag. We hopen dat deze veelbelovende resultaten en onze hoogwaardige open-source implementatie een hulpmiddel zullen bieden voor de robotica-gemeenschap om verdere ontwikkelingen in robotische RL te vergemakkelijken. Onze code, documentatie en video's zijn te vinden op https://serl-robot.github.io/.

English

In recent years, significant progress has been made in the field of robotic reinforcement learning (RL), enabling methods that handle complex image observations, train in the real world, and incorporate auxiliary data, such as demonstrations and prior experience. However, despite these advances, robotic RL remains hard to use. It is acknowledged among practitioners that the particular implementation details of these algorithms are often just as important (if not more so) for performance as the choice of algorithm. We posit that a significant challenge to widespread adoption of robotic RL, as well as further development of robotic RL methods, is the comparative inaccessibility of such methods. To address this challenge, we developed a carefully implemented library containing a sample efficient off-policy deep RL method, together with methods for computing rewards and resetting the environment, a high-quality controller for a widely-adopted robot, and a number of challenging example tasks. We provide this library as a resource for the community, describe its design choices, and present experimental results. Perhaps surprisingly, we find that our implementation can achieve very efficient learning, acquiring policies for PCB board assembly, cable routing, and object relocation between 25 to 50 minutes of training per policy on average, improving over state-of-the-art results reported for similar tasks in the literature. These policies achieve perfect or near-perfect success rates, extreme robustness even under perturbations, and exhibit emergent recovery and correction behaviors. We hope that these promising results and our high-quality open-source implementation will provide a tool for the robotics community to facilitate further developments in robotic RL. Our code, documentation, and videos can be found at https://serl-robot.github.io/

SERL: Een Softwarepakket voor Sample-Efficiënt Robotic Reinforcement Learning

SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

Samenvatting

Support