TRANSIC: オンライン補正からの学習によるシミュレーションから現実へのポリシー転移

TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction

May 16, 2024

著者: Yunfan Jiang, Chen Wang, Ruohan Zhang, Jiajun Wu, Li Fei-Fei

cs.AI

要旨

シミュレーションでの学習と、その学習したポリシーを現実世界に転送することは、汎用ロボットを実現する可能性を秘めています。このアプローチの主要な課題は、シミュレーションから現実（sim-to-real）のギャップに対処することです。従来の方法では、事前にドメイン固有の知識を必要とすることが多かったです。私たちは、そのような知識を得るための直接的な方法として、人間が現実世界でロボットのポリシー実行を観察し、支援することを提案します。ロボットは人間から学ぶことで、さまざまなsim-to-realギャップを埋めることができます。本論文では、人間をループに組み込んだフレームワークに基づいて、sim-to-real転送を成功させるデータ駆動型アプローチであるTRANSICを提案します。TRANSICは、人間が介入やオンライン修正を通じて、さまざまなモデル化されていないsim-to-realギャップを包括的に克服するためにシミュレーションポリシーを拡張することを可能にします。人間の修正から残差ポリシーを学習し、シミュレーションポリシーと統合して自律実行を実現します。私たちのアプローチが、家具の組み立てなどの複雑で接触の多い操作タスクにおいて、sim-to-real転送を成功させることを示します。シミュレーションと人間から学んだポリシーの相乗的な統合を通じて、TRANSICは、しばしば共存するさまざまなsim-to-realギャップに対処する包括的なアプローチとして有効です。人間の努力に応じてスケーリングするなどの魅力的な特性を備えています。ビデオとコードはhttps://transic-robot.github.io/で公開されています。

English

Learning in simulation and transferring the learned policy to the real world has the potential to enable generalist robots. The key challenge of this approach is to address simulation-to-reality (sim-to-real) gaps. Previous methods often require domain-specific knowledge a priori. We argue that a straightforward way to obtain such knowledge is by asking humans to observe and assist robot policy execution in the real world. The robots can then learn from humans to close various sim-to-real gaps. We propose TRANSIC, a data-driven approach to enable successful sim-to-real transfer based on a human-in-the-loop framework. TRANSIC allows humans to augment simulation policies to overcome various unmodeled sim-to-real gaps holistically through intervention and online correction. Residual policies can be learned from human corrections and integrated with simulation policies for autonomous execution. We show that our approach can achieve successful sim-to-real transfer in complex and contact-rich manipulation tasks such as furniture assembly. Through synergistic integration of policies learned in simulation and from humans, TRANSIC is effective as a holistic approach to addressing various, often coexisting sim-to-real gaps. It displays attractive properties such as scaling with human effort. Videos and code are available at https://transic-robot.github.io/