TRANSIC: Transferencia de Políticas de Simulación a Realidad mediante Aprendizaje a partir de Correcciones en Línea

TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction

May 16, 2024

Autores: Yunfan Jiang, Chen Wang, Ruohan Zhang, Jiajun Wu, Li Fei-Fei

cs.AI

Resumen

El aprendizaje en simulación y la transferencia de la política aprendida al mundo real tiene el potencial de habilitar robots generalistas. El principal desafío de este enfoque es abordar las brechas entre simulación y realidad (sim-to-real). Métodos anteriores a menudo requieren conocimiento específico del dominio a priori. Argumentamos que una forma directa de obtener dicho conocimiento es pedir a los humanos que observen y asistan la ejecución de políticas robóticas en el mundo real. Los robots pueden entonces aprender de los humanos para cerrar diversas brechas sim-to-real. Proponemos TRANSIC, un enfoque basado en datos para permitir una transferencia exitosa de simulación a realidad basado en un marco de humano-en-el-bucle. TRANSIC permite a los humanos aumentar las políticas de simulación para superar diversas brechas sim-to-real no modeladas de manera holística mediante intervención y corrección en línea. Se pueden aprender políticas residuales a partir de correcciones humanas e integrarlas con políticas de simulación para su ejecución autónoma. Demostramos que nuestro enfoque puede lograr una transferencia exitosa de simulación a realidad en tareas de manipulación complejas y ricas en contacto, como el ensamblaje de muebles. A través de la integración sinérgica de políticas aprendidas en simulación y de humanos, TRANSIC es efectivo como un enfoque holístico para abordar diversas brechas sim-to-real, a menudo coexistentes. Muestra propiedades atractivas, como escalar con el esfuerzo humano. Videos y código están disponibles en https://transic-robot.github.io/.

English

Learning in simulation and transferring the learned policy to the real world has the potential to enable generalist robots. The key challenge of this approach is to address simulation-to-reality (sim-to-real) gaps. Previous methods often require domain-specific knowledge a priori. We argue that a straightforward way to obtain such knowledge is by asking humans to observe and assist robot policy execution in the real world. The robots can then learn from humans to close various sim-to-real gaps. We propose TRANSIC, a data-driven approach to enable successful sim-to-real transfer based on a human-in-the-loop framework. TRANSIC allows humans to augment simulation policies to overcome various unmodeled sim-to-real gaps holistically through intervention and online correction. Residual policies can be learned from human corrections and integrated with simulation policies for autonomous execution. We show that our approach can achieve successful sim-to-real transfer in complex and contact-rich manipulation tasks such as furniture assembly. Through synergistic integration of policies learned in simulation and from humans, TRANSIC is effective as a holistic approach to addressing various, often coexisting sim-to-real gaps. It displays attractive properties such as scaling with human effort. Videos and code are available at https://transic-robot.github.io/