SERL: Un conjunto de software para el aprendizaje por refuerzo robótico eficiente en muestras

SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

January 29, 2024

Autores: Jianlan Luo, Zheyuan Hu, Charles Xu, You Liang Tan, Jacob Berg, Archit Sharma, Stefan Schaal, Chelsea Finn, Abhishek Gupta, Sergey Levine

cs.AI

Resumen

En los últimos años, se han logrado avances significativos en el campo del aprendizaje por refuerzo (RL, por sus siglas en inglés) robótico, permitiendo métodos que manejan observaciones complejas de imágenes, entrenan en el mundo real e incorporan datos auxiliares, como demostraciones y experiencia previa. Sin embargo, a pesar de estos avances, el RL robótico sigue siendo difícil de utilizar. Entre los profesionales, se reconoce que los detalles específicos de implementación de estos algoritmos son a menudo tan importantes (si no más) para el rendimiento como la elección del algoritmo. Planteamos que un desafío significativo para la adopción generalizada del RL robótico, así como para el desarrollo adicional de métodos de RL robótico, es la relativa inaccesibilidad de dichos métodos. Para abordar este desafío, desarrollamos una biblioteca cuidadosamente implementada que contiene un método eficiente de RL profundo fuera de política, junto con métodos para calcular recompensas y reiniciar el entorno, un controlador de alta calidad para un robot ampliamente adoptado y una serie de tareas de ejemplo desafiantes. Ofrecemos esta biblioteca como un recurso para la comunidad, describimos sus decisiones de diseño y presentamos resultados experimentales. Quizás sorprendentemente, encontramos que nuestra implementación puede lograr un aprendizaje muy eficiente, adquiriendo políticas para el ensamblaje de placas de circuito impreso, el enrutamiento de cables y la reubicación de objetos entre 25 y 50 minutos de entrenamiento por política en promedio, superando los resultados de última generación reportados para tareas similares en la literatura. Estas políticas logran tasas de éxito perfectas o casi perfectas, una robustez extrema incluso bajo perturbaciones y exhiben comportamientos emergentes de recuperación y corrección. Esperamos que estos resultados prometedores y nuestra implementación de código abierto de alta calidad proporcionen una herramienta para la comunidad de robótica que facilite desarrollos adicionales en el RL robótico. Nuestro código, documentación y videos se pueden encontrar en https://serl-robot.github.io/.

English

In recent years, significant progress has been made in the field of robotic reinforcement learning (RL), enabling methods that handle complex image observations, train in the real world, and incorporate auxiliary data, such as demonstrations and prior experience. However, despite these advances, robotic RL remains hard to use. It is acknowledged among practitioners that the particular implementation details of these algorithms are often just as important (if not more so) for performance as the choice of algorithm. We posit that a significant challenge to widespread adoption of robotic RL, as well as further development of robotic RL methods, is the comparative inaccessibility of such methods. To address this challenge, we developed a carefully implemented library containing a sample efficient off-policy deep RL method, together with methods for computing rewards and resetting the environment, a high-quality controller for a widely-adopted robot, and a number of challenging example tasks. We provide this library as a resource for the community, describe its design choices, and present experimental results. Perhaps surprisingly, we find that our implementation can achieve very efficient learning, acquiring policies for PCB board assembly, cable routing, and object relocation between 25 to 50 minutes of training per policy on average, improving over state-of-the-art results reported for similar tasks in the literature. These policies achieve perfect or near-perfect success rates, extreme robustness even under perturbations, and exhibit emergent recovery and correction behaviors. We hope that these promising results and our high-quality open-source implementation will provide a tool for the robotics community to facilitate further developments in robotic RL. Our code, documentation, and videos can be found at https://serl-robot.github.io/