TRANSIC: Transferência de Políticas de Simulação para o Mundo Real por meio de Aprendizado com Correção Online

TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction

May 16, 2024

Autores: Yunfan Jiang, Chen Wang, Ruohan Zhang, Jiajun Wu, Li Fei-Fei

cs.AI

Resumo

A aprendizagem em simulação e a transferência da política aprendida para o mundo real têm o potencial de permitir robôs generalistas. O principal desafio dessa abordagem é lidar com as lacunas entre simulação e realidade (sim-to-real). Métodos anteriores frequentemente exigem conhecimento específico do domínio a priori. Argumentamos que uma maneira direta de obter tal conhecimento é pedir que humanos observem e auxiliem a execução da política do robô no mundo real. Os robôs podem então aprender com os humanos para fechar várias lacunas sim-to-real. Propomos o TRANSIC, uma abordagem baseada em dados para permitir uma transferência bem-sucedida de simulação para realidade com base em um framework de humano no loop. O TRANSIC permite que humanos aumentem as políticas de simulação para superar diversas lacunas sim-to-real não modeladas de forma holística, por meio de intervenção e correção online. Políticas residuais podem ser aprendidas a partir das correções humanas e integradas às políticas de simulação para execução autônoma. Mostramos que nossa abordagem pode alcançar uma transferência bem-sucedida de simulação para realidade em tarefas complexas de manipulação com contato intenso, como a montagem de móveis. Através da integração sinérgica de políticas aprendidas em simulação e com humanos, o TRANSIC se mostra eficaz como uma abordagem holística para lidar com diversas lacunas sim-to-real, muitas vezes coexistentes. Ele exibe propriedades atraentes, como a escalabilidade com o esforço humano. Vídeos e código estão disponíveis em https://transic-robot.github.io/.

English

Learning in simulation and transferring the learned policy to the real world has the potential to enable generalist robots. The key challenge of this approach is to address simulation-to-reality (sim-to-real) gaps. Previous methods often require domain-specific knowledge a priori. We argue that a straightforward way to obtain such knowledge is by asking humans to observe and assist robot policy execution in the real world. The robots can then learn from humans to close various sim-to-real gaps. We propose TRANSIC, a data-driven approach to enable successful sim-to-real transfer based on a human-in-the-loop framework. TRANSIC allows humans to augment simulation policies to overcome various unmodeled sim-to-real gaps holistically through intervention and online correction. Residual policies can be learned from human corrections and integrated with simulation policies for autonomous execution. We show that our approach can achieve successful sim-to-real transfer in complex and contact-rich manipulation tasks such as furniture assembly. Through synergistic integration of policies learned in simulation and from humans, TRANSIC is effective as a holistic approach to addressing various, often coexisting sim-to-real gaps. It displays attractive properties such as scaling with human effort. Videos and code are available at https://transic-robot.github.io/