TRANSIC: Sim-zu-Real-Policy-Transfer durch Lernen aus Online-Korrekturen

TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction

May 16, 2024

Autoren: Yunfan Jiang, Chen Wang, Ruohan Zhang, Jiajun Wu, Li Fei-Fei

cs.AI

Zusammenfassung

Das Lernen in der Simulation und die Übertragung der erlernten Richtlinie in die reale Welt haben das Potenzial, Generalisten-Roboter zu ermöglichen. Die Hauptherausforderung dieses Ansatzes besteht darin, die Simulation-zu-Realität (Sim-zu-Real) Lücken zu überbrücken. Frühere Methoden erfordern oft domänenspezifisches Wissen a priori. Wir argumentieren, dass ein einfacher Weg, um ein solches Wissen zu erlangen, darin besteht, Menschen zu bitten, die Ausführung der Roboter-Richtlinie in der realen Welt zu beobachten und zu unterstützen. Die Roboter können dann von den Menschen lernen, um verschiedene Sim-zu-Real-Lücken zu schließen. Wir schlagen TRANSIC vor, einen datengesteuerten Ansatz, um eine erfolgreiche Sim-zu-Real-Übertragung auf der Grundlage eines Human-in-the-Loop-Frameworks zu ermöglichen. TRANSIC ermöglicht es Menschen, Simulationsrichtlinien zu ergänzen, um verschiedene nicht modellierte Sim-zu-Real-Lücken ganzheitlich durch Intervention und Online-Korrektur zu überwinden. Restriktive Richtlinien können aus menschlichen Korrekturen gelernt und mit Simulationsrichtlinien für autonome Ausführung integriert werden. Wir zeigen, dass unser Ansatz eine erfolgreiche Sim-zu-Real-Übertragung bei komplexen und kontaktreichen Manipulationsaufgaben wie Möbelmontage erreichen kann. Durch die synergistische Integration von Richtlinien, die in der Simulation und von Menschen gelernt wurden, ist TRANSIC als ganzheitlicher Ansatz zur Bewältigung verschiedener, oft gleichzeitig bestehender Sim-zu-Real-Lücken wirksam. Es zeigt attraktive Eigenschaften wie das Skalieren mit menschlichem Aufwand. Videos und Code sind verfügbar unter https://transic-robot.github.io/

English

Learning in simulation and transferring the learned policy to the real world has the potential to enable generalist robots. The key challenge of this approach is to address simulation-to-reality (sim-to-real) gaps. Previous methods often require domain-specific knowledge a priori. We argue that a straightforward way to obtain such knowledge is by asking humans to observe and assist robot policy execution in the real world. The robots can then learn from humans to close various sim-to-real gaps. We propose TRANSIC, a data-driven approach to enable successful sim-to-real transfer based on a human-in-the-loop framework. TRANSIC allows humans to augment simulation policies to overcome various unmodeled sim-to-real gaps holistically through intervention and online correction. Residual policies can be learned from human corrections and integrated with simulation policies for autonomous execution. We show that our approach can achieve successful sim-to-real transfer in complex and contact-rich manipulation tasks such as furniture assembly. Through synergistic integration of policies learned in simulation and from humans, TRANSIC is effective as a holistic approach to addressing various, often coexisting sim-to-real gaps. It displays attractive properties such as scaling with human effort. Videos and code are available at https://transic-robot.github.io/