Sim-to-Real Reinforcement Learning voor visueel gestuurde behendige manipulatie bij humanoïden

Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

February 27, 2025

Auteurs: Toru Lin, Kartik Sachdev, Linxi Fan, Jitendra Malik, Yuke Zhu

cs.AI

Samenvatting

Reinforcement learning heeft veelbelovende resultaten opgeleverd bij het bereiken van menselijke of zelfs bovenmenselijke prestaties in diverse probleemdomeinen, maar succes in behendige robotmanipulatie blijft beperkt. Dit onderzoek richt zich op de belangrijkste uitdagingen bij het toepassen van reinforcement learning om een reeks contactrijke manipulatietaken op een humanoïde robot op te lossen. We introduceren nieuwe technieken om de geïdentificeerde uitdagingen te overwinnen, met empirische validatie. Onze belangrijkste bijdragen omvatten een automatische real-to-sim afstemmingsmodule die de gesimuleerde omgeving dichter bij de echte wereld brengt, een gegeneraliseerd beloningsontwerp dat de beloningsengineering voor langetermijn, contactrijke manipulatietaken vereenvoudigt, een verdeel-en-heers-distillatieproces dat de steekproefefficiëntie van moeilijk te verkennen problemen verbetert terwijl de sim-to-real prestaties behouden blijven, en een mix van spaarse en dichte objectrepresentaties om de sim-to-real perceptiekloof te overbruggen. We laten veelbelovende resultaten zien bij drie humanoïde behendige manipulatietaken, met ablatiestudies voor elke techniek. Ons werk presenteert een succesvolle aanpak voor het leren van humanoïde behendige manipulatie met behulp van sim-to-real reinforcement learning, waarbij robuuste generalisatie en hoge prestaties worden bereikt zonder de noodzaak van menselijke demonstraties.

English

Reinforcement learning has delivered promising results in achieving human- or even superhuman-level capabilities across diverse problem domains, but success in dexterous robot manipulation remains limited. This work investigates the key challenges in applying reinforcement learning to solve a collection of contact-rich manipulation tasks on a humanoid embodiment. We introduce novel techniques to overcome the identified challenges with empirical validation. Our main contributions include an automated real-to-sim tuning module that brings the simulated environment closer to the real world, a generalized reward design scheme that simplifies reward engineering for long-horizon contact-rich manipulation tasks, a divide-and-conquer distillation process that improves the sample efficiency of hard-exploration problems while maintaining sim-to-real performance, and a mixture of sparse and dense object representations to bridge the sim-to-real perception gap. We show promising results on three humanoid dexterous manipulation tasks, with ablation studies on each technique. Our work presents a successful approach to learning humanoid dexterous manipulation using sim-to-real reinforcement learning, achieving robust generalization and high performance without the need for human demonstration.