Apprendimento per rinforzo da simulazione a realtà per la manipolazione abile basata sulla visione negli umanoidi

Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

February 27, 2025

Autori: Toru Lin, Kartik Sachdev, Linxi Fan, Jitendra Malik, Yuke Zhu

cs.AI

Abstract

L'apprendimento per rinforzo ha ottenuto risultati promettenti nel raggiungere capacità a livello umano o addirittura superumano in diversi domini problematici, ma il successo nella manipolazione robotica abile rimane limitato. Questo lavoro indaga le principali sfide nell'applicare l'apprendimento per rinforzo per risolvere una serie di compiti di manipolazione ricchi di contatti su un'embodiment umanoide. Introduciamo nuove tecniche per superare le sfide identificate con validazione empirica. I nostri principali contributi includono un modulo di regolazione automatica da reale a simulato che avvicina l'ambiente simulato al mondo reale, uno schema di progettazione di ricompense generalizzato che semplifica l'ingegneria delle ricompense per compiti di manipolazione ricchi di contatti a lungo orizzonte, un processo di distillazione divide et impera che migliora l'efficienza del campionamento per problemi di esplorazione difficili mantenendo le prestazioni da simulato a reale, e una miscela di rappresentazioni sparse e dense degli oggetti per colmare il divario percettivo da simulato a reale. Mostriamo risultati promettenti su tre compiti di manipolazione abile umanoide, con studi di ablazione su ciascuna tecnica. Il nostro lavoro presenta un approccio di successo per apprendere la manipolazione abile umanoide utilizzando l'apprendimento per rinforzo da simulato a reale, raggiungendo una generalizzazione robusta e alte prestazioni senza la necessità di dimostrazioni umane.

English

Reinforcement learning has delivered promising results in achieving human- or even superhuman-level capabilities across diverse problem domains, but success in dexterous robot manipulation remains limited. This work investigates the key challenges in applying reinforcement learning to solve a collection of contact-rich manipulation tasks on a humanoid embodiment. We introduce novel techniques to overcome the identified challenges with empirical validation. Our main contributions include an automated real-to-sim tuning module that brings the simulated environment closer to the real world, a generalized reward design scheme that simplifies reward engineering for long-horizon contact-rich manipulation tasks, a divide-and-conquer distillation process that improves the sample efficiency of hard-exploration problems while maintaining sim-to-real performance, and a mixture of sparse and dense object representations to bridge the sim-to-real perception gap. We show promising results on three humanoid dexterous manipulation tasks, with ablation studies on each technique. Our work presents a successful approach to learning humanoid dexterous manipulation using sim-to-real reinforcement learning, achieving robust generalization and high performance without the need for human demonstration.