SERL : Une Suite Logicielle pour l'Apprentissage par Renforcement Robotic Efficace en Échantillons

papers.abstract

Ces dernières années, des progrès significatifs ont été réalisés dans le domaine de l'apprentissage par renforcement (RL) robotique, permettant le développement de méthodes capables de traiter des observations complexes d'images, de s'entraîner dans le monde réel et d'intégrer des données auxiliaires, telles que des démonstrations et des expériences antérieures. Cependant, malgré ces avancées, l'utilisation du RL robotique reste difficile. Les praticiens reconnaissent que les détails d'implémentation spécifiques de ces algorithmes sont souvent tout aussi importants (voire plus) pour les performances que le choix de l'algorithme lui-même. Nous soutenons qu'un défi majeur pour l'adoption généralisée du RL robotique, ainsi que pour le développement ultérieur de ses méthodes, réside dans l'accessibilité relativement limitée de ces techniques. Pour relever ce défi, nous avons développé une bibliothèque soigneusement implémentée contenant une méthode efficace de RL profond hors politique, ainsi que des méthodes pour calculer les récompenses et réinitialiser l'environnement, un contrôleur de haute qualité pour un robot largement adopté, et plusieurs tâches exemples complexes. Nous mettons cette bibliothèque à disposition de la communauté, décrivons ses choix de conception et présentons des résultats expérimentaux. De manière peut-être surprenante, nous constatons que notre implémentation permet un apprentissage très efficace, acquérant des politiques pour l'assemblage de cartes PCB, le routage de câbles et le déplacement d'objets en seulement 25 à 50 minutes d'entraînement par politique en moyenne, surpassant les résultats de pointe rapportés pour des tâches similaires dans la littérature. Ces politiques atteignent des taux de réussite parfaits ou quasi parfaits, une robustesse extrême même sous perturbations, et présentent des comportements émergents de récupération et de correction. Nous espérons que ces résultats prometteurs et notre implémentation open-source de haute qualité fourniront un outil à la communauté robotique pour faciliter les développements futurs en RL robotique. Notre code, documentation et vidéos sont disponibles à l'adresse https://serl-robot.github.io/

English

In recent years, significant progress has been made in the field of robotic reinforcement learning (RL), enabling methods that handle complex image observations, train in the real world, and incorporate auxiliary data, such as demonstrations and prior experience. However, despite these advances, robotic RL remains hard to use. It is acknowledged among practitioners that the particular implementation details of these algorithms are often just as important (if not more so) for performance as the choice of algorithm. We posit that a significant challenge to widespread adoption of robotic RL, as well as further development of robotic RL methods, is the comparative inaccessibility of such methods. To address this challenge, we developed a carefully implemented library containing a sample efficient off-policy deep RL method, together with methods for computing rewards and resetting the environment, a high-quality controller for a widely-adopted robot, and a number of challenging example tasks. We provide this library as a resource for the community, describe its design choices, and present experimental results. Perhaps surprisingly, we find that our implementation can achieve very efficient learning, acquiring policies for PCB board assembly, cable routing, and object relocation between 25 to 50 minutes of training per policy on average, improving over state-of-the-art results reported for similar tasks in the literature. These policies achieve perfect or near-perfect success rates, extreme robustness even under perturbations, and exhibit emergent recovery and correction behaviors. We hope that these promising results and our high-quality open-source implementation will provide a tool for the robotics community to facilitate further developments in robotic RL. Our code, documentation, and videos can be found at https://serl-robot.github.io/

SERL : Une Suite Logicielle pour l'Apprentissage par Renforcement Robotic Efficace en Échantillons

SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

papers.abstract

Support