SERL: Eine Software-Suite für probeneffizientes robotisches Reinforcement Learning

Zusammenfassung

In den letzten Jahren wurden im Bereich des robotischen Reinforcement Learning (RL) bedeutende Fortschritte erzielt, wodurch Methoden entwickelt wurden, die komplexe Bildbeobachtungen verarbeiten, in der realen Welt trainieren und zusätzliche Daten wie Demonstrationen und frühere Erfahrungen einbeziehen. Trotz dieser Fortschritte bleibt robotisches RL jedoch schwer anzuwenden. Es ist unter Praktikern anerkannt, dass die spezifischen Implementierungsdetails dieser Algorithmen oft genauso wichtig (wenn nicht sogar wichtiger) für die Leistung sind wie die Wahl des Algorithmus. Wir stellen die These auf, dass eine wesentliche Herausforderung für die breite Einführung von robotischem RL sowie die Weiterentwicklung von robotischen RL-Methoden die vergleichsweise geringe Zugänglichkeit solcher Methoden ist. Um diese Herausforderung zu bewältigen, haben wir eine sorgfältig implementierte Bibliothek entwickelt, die eine probeneffiziente Off-Policy Deep-RL-Methode, Methoden zur Berechnung von Belohnungen und zur Zurücksetzung der Umgebung, einen hochwertigen Controller für einen weit verbreiteten Roboter und eine Reihe anspruchsvoller Beispielaufgaben enthält. Wir stellen diese Bibliothek der Gemeinschaft als Ressource zur Verfügung, beschreiben ihre Designentscheidungen und präsentieren experimentelle Ergebnisse. Überraschenderweise stellen wir fest, dass unsere Implementierung sehr effizientes Lernen erreichen kann, indem sie Richtlinien für die Montage von Leiterplatten, das Verlegen von Kabeln und das Versetzen von Objekten durchschnittlich in 25 bis 50 Minuten Training pro Richtlinie erwirbt, was die in der Literatur berichteten Ergebnisse für ähnliche Aufgaben übertrifft. Diese Richtlinien erreichen perfekte oder nahezu perfekte Erfolgsraten, extreme Robustheit selbst unter Störungen und zeigen emergente Wiederherstellungs- und Korrekturverhalten. Wir hoffen, dass diese vielversprechenden Ergebnisse und unsere hochwertige Open-Source-Implementierung der Robotikgemeinschaft ein Werkzeug bieten, um weitere Entwicklungen im robotischen RL zu fördern. Unser Code, die Dokumentation und Videos sind unter https://serl-robot.github.io/ verfügbar.

English

In recent years, significant progress has been made in the field of robotic reinforcement learning (RL), enabling methods that handle complex image observations, train in the real world, and incorporate auxiliary data, such as demonstrations and prior experience. However, despite these advances, robotic RL remains hard to use. It is acknowledged among practitioners that the particular implementation details of these algorithms are often just as important (if not more so) for performance as the choice of algorithm. We posit that a significant challenge to widespread adoption of robotic RL, as well as further development of robotic RL methods, is the comparative inaccessibility of such methods. To address this challenge, we developed a carefully implemented library containing a sample efficient off-policy deep RL method, together with methods for computing rewards and resetting the environment, a high-quality controller for a widely-adopted robot, and a number of challenging example tasks. We provide this library as a resource for the community, describe its design choices, and present experimental results. Perhaps surprisingly, we find that our implementation can achieve very efficient learning, acquiring policies for PCB board assembly, cable routing, and object relocation between 25 to 50 minutes of training per policy on average, improving over state-of-the-art results reported for similar tasks in the literature. These policies achieve perfect or near-perfect success rates, extreme robustness even under perturbations, and exhibit emergent recovery and correction behaviors. We hope that these promising results and our high-quality open-source implementation will provide a tool for the robotics community to facilitate further developments in robotic RL. Our code, documentation, and videos can be found at https://serl-robot.github.io/

SERL: Eine Software-Suite für probeneffizientes robotisches Reinforcement Learning

SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

Zusammenfassung

Support