SERL: Программный комплекс для эффективного обучения роботов с подкреплением с использованием ограниченных данных

Аннотация

В последние годы в области роботизированного обучения с подкреплением (RL) был достигнут значительный прогресс, что позволило разработать методы, способные обрабатывать сложные визуальные наблюдения, обучаться в реальном мире и использовать вспомогательные данные, такие как демонстрации и предыдущий опыт. Однако, несмотря на эти достижения, использование роботизированного RL остается сложным. Среди специалистов признается, что конкретные детали реализации этих алгоритмов зачастую столь же важны (если не более) для производительности, как и выбор самого алгоритма. Мы предполагаем, что одной из значительных проблем для широкого внедрения роботизированного RL, а также дальнейшего развития методов в этой области, является сравнительная недоступность таких методов. Чтобы решить эту проблему, мы разработали тщательно реализованную библиотеку, содержащую эффективный с точки зрения выборки метод глубокого RL с внеполитическим обучением, методы вычисления наград и сброса среды, высококачественный контроллер для широко используемого робота и ряд сложных примеров задач. Мы предоставляем эту библиотеку в качестве ресурса для сообщества, описываем принятые при ее разработке решения и представляем результаты экспериментов. Возможно, удивительно, но мы обнаружили, что наша реализация может достичь очень эффективного обучения, приобретая политики для сборки печатных плат, прокладки кабелей и перемещения объектов в среднем за 25–50 минут обучения на одну политику, превосходя результаты, достигнутые в аналогичных задачах, описанных в литературе. Эти политики демонстрируют идеальные или близкие к идеальным показатели успешности, исключительную устойчивость даже при наличии возмущений и проявляют возникающие поведенческие паттерны восстановления и коррекции. Мы надеемся, что эти обнадеживающие результаты и наша высококачественная реализация с открытым исходным кодом станут инструментом для сообщества робототехников, способствующим дальнейшему развитию роботизированного RL. Наш код, документация и видео доступны по адресу https://serl-robot.github.io/.

English

In recent years, significant progress has been made in the field of robotic reinforcement learning (RL), enabling methods that handle complex image observations, train in the real world, and incorporate auxiliary data, such as demonstrations and prior experience. However, despite these advances, robotic RL remains hard to use. It is acknowledged among practitioners that the particular implementation details of these algorithms are often just as important (if not more so) for performance as the choice of algorithm. We posit that a significant challenge to widespread adoption of robotic RL, as well as further development of robotic RL methods, is the comparative inaccessibility of such methods. To address this challenge, we developed a carefully implemented library containing a sample efficient off-policy deep RL method, together with methods for computing rewards and resetting the environment, a high-quality controller for a widely-adopted robot, and a number of challenging example tasks. We provide this library as a resource for the community, describe its design choices, and present experimental results. Perhaps surprisingly, we find that our implementation can achieve very efficient learning, acquiring policies for PCB board assembly, cable routing, and object relocation between 25 to 50 minutes of training per policy on average, improving over state-of-the-art results reported for similar tasks in the literature. These policies achieve perfect or near-perfect success rates, extreme robustness even under perturbations, and exhibit emergent recovery and correction behaviors. We hope that these promising results and our high-quality open-source implementation will provide a tool for the robotics community to facilitate further developments in robotic RL. Our code, documentation, and videos can be found at https://serl-robot.github.io/

SERL: Программный комплекс для эффективного обучения роботов с подкреплением с использованием ограниченных данных

SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

Аннотация

Support