SERL: サンプル効率の良いロボット強化学習のためのソフトウェアスイート

要旨

近年、ロボティック強化学習（RL）の分野では大きな進展が見られ、複雑な画像観測の処理、実世界でのトレーニング、デモンストレーションや事前経験などの補助データの組み込みを可能にする手法が開発されてきました。しかし、これらの進歩にもかかわらず、ロボティックRLの利用は依然として困難です。実務家の間では、これらのアルゴリズムの特定の実装詳細が、アルゴリズムの選択と同様に（あるいはそれ以上に）性能にとって重要であることが認識されています。我々は、ロボティックRLの広範な採用およびさらなる手法開発に対する大きな障壁として、これらの手法の比較的アクセスしにくさがあると考えます。この課題に対処するため、我々はサンプル効率の良いオフポリシー深層RL手法、報酬計算と環境リセットの手法、広く採用されているロボットのための高品質なコントローラ、そして多数の挑戦的なタスク例を含む、慎重に実装されたライブラリを開発しました。このライブラリをコミュニティのリソースとして提供し、その設計選択を説明し、実験結果を提示します。おそらく驚くべきことに、我々の実装は非常に効率的な学習を達成し、PCB基板の組み立て、ケーブル配線、物体の再配置のためのポリシーを平均25〜50分のトレーニングで獲得し、文献で報告されている類似タスクの最先端の結果を上回りました。これらのポリシーは完璧またはほぼ完璧な成功率、摂動下での極端なロバスト性、そして回復や修正の振る舞いを示します。我々は、これらの有望な結果と高品質なオープンソース実装が、ロボティクスコミュニティにとってロボティックRLのさらなる発展を促進するツールとなることを期待しています。我々のコード、ドキュメント、およびビデオはhttps://serl-robot.github.io/で閲覧できます。

English

In recent years, significant progress has been made in the field of robotic reinforcement learning (RL), enabling methods that handle complex image observations, train in the real world, and incorporate auxiliary data, such as demonstrations and prior experience. However, despite these advances, robotic RL remains hard to use. It is acknowledged among practitioners that the particular implementation details of these algorithms are often just as important (if not more so) for performance as the choice of algorithm. We posit that a significant challenge to widespread adoption of robotic RL, as well as further development of robotic RL methods, is the comparative inaccessibility of such methods. To address this challenge, we developed a carefully implemented library containing a sample efficient off-policy deep RL method, together with methods for computing rewards and resetting the environment, a high-quality controller for a widely-adopted robot, and a number of challenging example tasks. We provide this library as a resource for the community, describe its design choices, and present experimental results. Perhaps surprisingly, we find that our implementation can achieve very efficient learning, acquiring policies for PCB board assembly, cable routing, and object relocation between 25 to 50 minutes of training per policy on average, improving over state-of-the-art results reported for similar tasks in the literature. These policies achieve perfect or near-perfect success rates, extreme robustness even under perturbations, and exhibit emergent recovery and correction behaviors. We hope that these promising results and our high-quality open-source implementation will provide a tool for the robotics community to facilitate further developments in robotic RL. Our code, documentation, and videos can be found at https://serl-robot.github.io/

SERL: サンプル効率の良いロボット強化学習のためのソフトウェアスイート

SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning

要旨

Support