SERL: Una Suite Software per l'Apprendimento per Rinforzo Robotic Efficace in Termini di Campioni

SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

January 29, 2024

Autori: Jianlan Luo, Zheyuan Hu, Charles Xu, You Liang Tan, Jacob Berg, Archit Sharma, Stefan Schaal, Chelsea Finn, Abhishek Gupta, Sergey Levine

cs.AI

Abstract

Negli ultimi anni, sono stati compiuti significativi progressi nel campo dell'apprendimento per rinforzo (RL) robotico, che hanno permesso lo sviluppo di metodi in grado di gestire osservazioni complesse basate su immagini, addestrare nel mondo reale e incorporare dati ausiliari, come dimostrazioni ed esperienze pregresse. Tuttavia, nonostante questi avanzamenti, l'RL robotico rimane difficile da utilizzare. È riconosciuto tra i praticanti che i dettagli implementativi specifici di questi algoritmi sono spesso altrettanto importanti (se non di più) per le prestazioni quanto la scelta dell'algoritmo stesso. Sosteniamo che una sfida significativa per l'adozione diffusa dell'RL robotico, così come per l'ulteriore sviluppo dei suoi metodi, sia la relativa inaccessibilità di tali metodi. Per affrontare questa sfida, abbiamo sviluppato una libreria accuratamente implementata che include un metodo di RL profondo off-policy ad alta efficienza campionaria, insieme a metodi per calcolare le ricompense e resettare l'ambiente, un controller di alta qualità per un robot ampiamente adottato e una serie di compiti di esempio impegnativi. Forniamo questa libreria come risorsa per la comunità, descriviamo le scelte progettuali e presentiamo i risultati sperimentali. Forse sorprendentemente, scopriamo che la nostra implementazione può raggiungere un apprendimento molto efficiente, acquisendo politiche per l'assemblaggio di schede PCB, il routing di cavi e il riposizionamento di oggetti in media tra 25 e 50 minuti di addestramento per politica, migliorando i risultati di stato dell'arte riportati per compiti simili nella letteratura. Queste politiche raggiungono tassi di successo perfetti o quasi perfetti, estrema robustezza anche in presenza di perturbazioni e mostrano comportamenti emergenti di recupero e correzione. Speriamo che questi risultati promettenti e la nostra implementazione open-source di alta qualità forniscano uno strumento alla comunità robotica per facilitare ulteriori sviluppi nell'RL robotico. Il nostro codice, la documentazione e i video sono disponibili all'indirizzo https://serl-robot.github.io/.

English

In recent years, significant progress has been made in the field of robotic reinforcement learning (RL), enabling methods that handle complex image observations, train in the real world, and incorporate auxiliary data, such as demonstrations and prior experience. However, despite these advances, robotic RL remains hard to use. It is acknowledged among practitioners that the particular implementation details of these algorithms are often just as important (if not more so) for performance as the choice of algorithm. We posit that a significant challenge to widespread adoption of robotic RL, as well as further development of robotic RL methods, is the comparative inaccessibility of such methods. To address this challenge, we developed a carefully implemented library containing a sample efficient off-policy deep RL method, together with methods for computing rewards and resetting the environment, a high-quality controller for a widely-adopted robot, and a number of challenging example tasks. We provide this library as a resource for the community, describe its design choices, and present experimental results. Perhaps surprisingly, we find that our implementation can achieve very efficient learning, acquiring policies for PCB board assembly, cable routing, and object relocation between 25 to 50 minutes of training per policy on average, improving over state-of-the-art results reported for similar tasks in the literature. These policies achieve perfect or near-perfect success rates, extreme robustness even under perturbations, and exhibit emergent recovery and correction behaviors. We hope that these promising results and our high-quality open-source implementation will provide a tool for the robotics community to facilitate further developments in robotic RL. Our code, documentation, and videos can be found at https://serl-robot.github.io/