TRANSIC: Trasferimento di Politiche da Simulazione a Realtà attraverso l'Apprendimento da Correzione Online

TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction

May 16, 2024

Autori: Yunfan Jiang, Chen Wang, Ruohan Zhang, Jiajun Wu, Li Fei-Fei

cs.AI

Abstract

L'apprendimento in simulazione e il trasferimento della politica appresa nel mondo reale hanno il potenziale di abilitare robot generalisti. La sfida principale di questo approccio è affrontare i divari tra simulazione e realtà (sim-to-real). I metodi precedenti spesso richiedono conoscenze specifiche del dominio a priori. Sosteniamo che un modo diretto per ottenere tali conoscenze è chiedere agli esseri umani di osservare e assistere l'esecuzione della politica del robot nel mondo reale. I robot possono quindi apprendere dagli esseri umani per colmare vari divari sim-to-real. Proponiamo TRANSIC, un approccio basato sui dati per abilitare un trasferimento sim-to-real di successo basato su un framework human-in-the-loop. TRANSIC consente agli esseri umani di potenziare le politiche di simulazione per superare vari divari sim-to-real non modellati in modo olistico attraverso interventi e correzioni online. Politiche residue possono essere apprese dalle correzioni umane e integrate con le politiche di simulazione per l'esecuzione autonoma. Dimostriamo che il nostro approccio può ottenere un trasferimento sim-to-real di successo in compiti di manipolazione complessi e ricchi di contatti come l'assemblaggio di mobili. Attraverso l'integrazione sinergica delle politiche apprese in simulazione e dagli esseri umani, TRANSIC è efficace come approccio olistico per affrontare vari divari sim-to-real, spesso coesistenti. Mostra proprietà attraenti come la scalabilità con lo sforzo umano. Video e codice sono disponibili su https://transic-robot.github.io/

English

Learning in simulation and transferring the learned policy to the real world has the potential to enable generalist robots. The key challenge of this approach is to address simulation-to-reality (sim-to-real) gaps. Previous methods often require domain-specific knowledge a priori. We argue that a straightforward way to obtain such knowledge is by asking humans to observe and assist robot policy execution in the real world. The robots can then learn from humans to close various sim-to-real gaps. We propose TRANSIC, a data-driven approach to enable successful sim-to-real transfer based on a human-in-the-loop framework. TRANSIC allows humans to augment simulation policies to overcome various unmodeled sim-to-real gaps holistically through intervention and online correction. Residual policies can be learned from human corrections and integrated with simulation policies for autonomous execution. We show that our approach can achieve successful sim-to-real transfer in complex and contact-rich manipulation tasks such as furniture assembly. Through synergistic integration of policies learned in simulation and from humans, TRANSIC is effective as a holistic approach to addressing various, often coexisting sim-to-real gaps. It displays attractive properties such as scaling with human effort. Videos and code are available at https://transic-robot.github.io/