Sim-to-Real Reinforcement Learning für visuell basierte geschickte Manipulation bei Humanoiden

Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

February 27, 2025

Autoren: Toru Lin, Kartik Sachdev, Linxi Fan, Jitendra Malik, Yuke Zhu

cs.AI

Zusammenfassung

Reinforcement Learning hat vielversprechende Ergebnisse bei der Erreichung von menschlichen oder sogar übermenschlichen Fähigkeiten in verschiedenen Problemdomänen geliefert, aber der Erfolg bei geschickter Roboter-Manipulation bleibt begrenzt. Diese Arbeit untersucht die zentralen Herausforderungen bei der Anwendung von Reinforcement Learning zur Lösung einer Sammlung von kontaktreichen Manipulationsaufgaben an einer humanoiden Verkörperung. Wir führen neuartige Techniken ein, um die identifizierten Herausforderungen mit empirischer Validierung zu überwinden. Unsere Hauptbeiträge umfassen ein automatisiertes Real-to-Sim-Tuning-Modul, das die simulierte Umgebung näher an die reale Welt bringt, ein generalisiertes Belohnungsdesignschema, das die Belohnungsentwicklung für langfristige, kontaktreiche Manipulationsaufgaben vereinfacht, einen Divide-and-Conquer-Destillationsprozess, der die Probeneffizienz von schwer zu erkundenden Problemen verbessert, während die Sim-to-Real-Leistung erhalten bleibt, und eine Mischung aus spärlichen und dichten Objektrepräsentationen, um die Sim-to-Real-Wahrnehmungslücke zu überbrücken. Wir zeigen vielversprechende Ergebnisse bei drei humanoiden geschickten Manipulationsaufgaben, mit Ablationsstudien zu jeder Technik. Unsere Arbeit präsentiert einen erfolgreichen Ansatz zum Erlernen humanoid geschickter Manipulation mittels Sim-to-Real-Reinforcement-Learning, der robuste Generalisierung und hohe Leistung ohne die Notwendigkeit menschlicher Demonstration erreicht.

English

Reinforcement learning has delivered promising results in achieving human- or even superhuman-level capabilities across diverse problem domains, but success in dexterous robot manipulation remains limited. This work investigates the key challenges in applying reinforcement learning to solve a collection of contact-rich manipulation tasks on a humanoid embodiment. We introduce novel techniques to overcome the identified challenges with empirical validation. Our main contributions include an automated real-to-sim tuning module that brings the simulated environment closer to the real world, a generalized reward design scheme that simplifies reward engineering for long-horizon contact-rich manipulation tasks, a divide-and-conquer distillation process that improves the sample efficiency of hard-exploration problems while maintaining sim-to-real performance, and a mixture of sparse and dense object representations to bridge the sim-to-real perception gap. We show promising results on three humanoid dexterous manipulation tasks, with ablation studies on each technique. Our work presents a successful approach to learning humanoid dexterous manipulation using sim-to-real reinforcement learning, achieving robust generalization and high performance without the need for human demonstration.