TRANSIC : Transfert de politique du simulé au réel par apprentissage à partir de corrections en ligne

TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction

May 16, 2024

Auteurs: Yunfan Jiang, Chen Wang, Ruohan Zhang, Jiajun Wu, Li Fei-Fei

cs.AI

Résumé

L'apprentissage en simulation et le transfert de la politique apprise vers le monde réel ont le potentiel de permettre la création de robots généralistes. Le défi majeur de cette approche est de combler les écarts entre la simulation et la réalité (sim-to-real). Les méthodes précédentes nécessitent souvent des connaissances spécifiques au domaine a priori. Nous soutenons qu'une manière simple d'obtenir ces connaissances est de demander à des humains d'observer et d'assister l'exécution des politiques des robots dans le monde réel. Les robots peuvent ainsi apprendre des humains pour combler divers écarts sim-to-real. Nous proposons TRANSIC, une approche basée sur les données pour permettre un transfert réussi de la simulation à la réalité, fondée sur un cadre humain-dans-la-boucle. TRANSIC permet aux humains d'augmenter les politiques de simulation pour surmonter divers écarts sim-to-real non modélisés de manière holistique, grâce à l'intervention et à la correction en ligne. Des politiques résiduelles peuvent être apprises à partir des corrections humaines et intégrées aux politiques de simulation pour une exécution autonome. Nous montrons que notre approche peut réaliser un transfert réussi de la simulation à la réalité dans des tâches de manipulation complexes et riches en contacts, comme l'assemblage de meubles. Grâce à l'intégration synergique des politiques apprises en simulation et des humains, TRANSIC est efficace comme approche holistique pour traiter divers écarts sim-to-real, souvent coexistants. Il présente des propriétés attrayantes, comme la capacité à évoluer avec l'effort humain. Les vidéos et le code sont disponibles à l'adresse https://transic-robot.github.io/

English

Learning in simulation and transferring the learned policy to the real world has the potential to enable generalist robots. The key challenge of this approach is to address simulation-to-reality (sim-to-real) gaps. Previous methods often require domain-specific knowledge a priori. We argue that a straightforward way to obtain such knowledge is by asking humans to observe and assist robot policy execution in the real world. The robots can then learn from humans to close various sim-to-real gaps. We propose TRANSIC, a data-driven approach to enable successful sim-to-real transfer based on a human-in-the-loop framework. TRANSIC allows humans to augment simulation policies to overcome various unmodeled sim-to-real gaps holistically through intervention and online correction. Residual policies can be learned from human corrections and integrated with simulation policies for autonomous execution. We show that our approach can achieve successful sim-to-real transfer in complex and contact-rich manipulation tasks such as furniture assembly. Through synergistic integration of policies learned in simulation and from humans, TRANSIC is effective as a holistic approach to addressing various, often coexisting sim-to-real gaps. It displays attractive properties such as scaling with human effort. Videos and code are available at https://transic-robot.github.io/