TRANSIC: Sim-naar-Real Beleidsoverdracht door Leren van Online Correctie

TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction

May 16, 2024

Auteurs: Yunfan Jiang, Chen Wang, Ruohan Zhang, Jiajun Wu, Li Fei-Fei

cs.AI

Samenvatting

Leren in simulatie en het overzetten van het geleerde beleid naar de echte wereld heeft het potentieel om generalistische robots mogelijk te maken. De belangrijkste uitdaging van deze aanpak is het aanpakken van simulatie-naar-realiteit (sim-to-real) verschillen. Eerdere methoden vereisen vaak domeinspecifieke kennis a priori. Wij stellen dat een rechtstreekse manier om dergelijke kennis te verkrijgen is door mensen te vragen om het uitvoeren van robotbeleid in de echte wereld te observeren en te assisteren. De robots kunnen dan leren van mensen om verschillende sim-to-real verschillen te overbruggen. Wij stellen TRANSIC voor, een data-gedreven aanpak om succesvolle sim-to-real overdracht mogelijk te maken op basis van een human-in-the-loop raamwerk. TRANSIC stelt mensen in staat om simulatiebeleid aan te vullen om verschillende ongemodelleerde sim-to-real verschillen holistisch te overwinnen door interventie en online correctie. Residueel beleid kan worden geleerd uit menselijke correcties en geïntegreerd worden met simulatiebeleid voor autonome uitvoering. Wij tonen aan dat onze aanpak succesvolle sim-to-real overdracht kan bereiken in complexe en contactrijke manipulatietaken zoals meubelmontage. Door de synergetische integratie van beleid geleerd in simulatie en van mensen, is TRANSIC effectief als een holistische aanpak om verschillende, vaak samen voorkomende sim-to-real verschillen aan te pakken. Het vertoont aantrekkelijke eigenschappen zoals schaalbaarheid met menselijke inspanning. Video's en code zijn beschikbaar op https://transic-robot.github.io/

English

Learning in simulation and transferring the learned policy to the real world has the potential to enable generalist robots. The key challenge of this approach is to address simulation-to-reality (sim-to-real) gaps. Previous methods often require domain-specific knowledge a priori. We argue that a straightforward way to obtain such knowledge is by asking humans to observe and assist robot policy execution in the real world. The robots can then learn from humans to close various sim-to-real gaps. We propose TRANSIC, a data-driven approach to enable successful sim-to-real transfer based on a human-in-the-loop framework. TRANSIC allows humans to augment simulation policies to overcome various unmodeled sim-to-real gaps holistically through intervention and online correction. Residual policies can be learned from human corrections and integrated with simulation policies for autonomous execution. We show that our approach can achieve successful sim-to-real transfer in complex and contact-rich manipulation tasks such as furniture assembly. Through synergistic integration of policies learned in simulation and from humans, TRANSIC is effective as a holistic approach to addressing various, often coexisting sim-to-real gaps. It displays attractive properties such as scaling with human effort. Videos and code are available at https://transic-robot.github.io/