Apprentissage par renforcement de la simulation à la réalité pour la manipulation dextre basée sur la vision chez les humanoïdes

Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

February 27, 2025

papers.authors: Toru Lin, Kartik Sachdev, Linxi Fan, Jitendra Malik, Yuke Zhu

cs.AI

papers.abstract

L'apprentissage par renforcement a produit des résultats prometteurs en atteignant des capacités de niveau humain, voire supérieur, dans divers domaines de problèmes, mais les succès en matière de manipulation robotique dextre restent limités. Ce travail explore les principaux défis liés à l'application de l'apprentissage par renforcement pour résoudre un ensemble de tâches de manipulation riches en contacts sur un corps humanoïde. Nous introduisons de nouvelles techniques pour surmonter ces défis, validées empiriquement. Nos principales contributions incluent un module de réglage automatique réel-vers-sim qui rapproche l'environnement simulé du monde réel, un schéma de conception de récompenses généralisé qui simplifie l'ingénierie des récompenses pour les tâches de manipulation à long terme et riches en contacts, un processus de distillation diviser-pour-régner qui améliore l'efficacité des échantillons pour les problèmes d'exploration difficiles tout en maintenant les performances sim-vers-réel, et un mélange de représentations d'objets éparses et denses pour combler l'écart de perception sim-vers-réel. Nous montrons des résultats prometteurs sur trois tâches de manipulation dextre humanoïde, avec des études d'ablation pour chaque technique. Notre travail présente une approche réussie pour l'apprentissage de la manipulation dextre humanoïde en utilisant l'apprentissage par renforcement sim-vers-réel, atteignant une généralisation robuste et des performances élevées sans nécessiter de démonstration humaine.

English

Reinforcement learning has delivered promising results in achieving human- or even superhuman-level capabilities across diverse problem domains, but success in dexterous robot manipulation remains limited. This work investigates the key challenges in applying reinforcement learning to solve a collection of contact-rich manipulation tasks on a humanoid embodiment. We introduce novel techniques to overcome the identified challenges with empirical validation. Our main contributions include an automated real-to-sim tuning module that brings the simulated environment closer to the real world, a generalized reward design scheme that simplifies reward engineering for long-horizon contact-rich manipulation tasks, a divide-and-conquer distillation process that improves the sample efficiency of hard-exploration problems while maintaining sim-to-real performance, and a mixture of sparse and dense object representations to bridge the sim-to-real perception gap. We show promising results on three humanoid dexterous manipulation tasks, with ablation studies on each technique. Our work presents a successful approach to learning humanoid dexterous manipulation using sim-to-real reinforcement learning, achieving robust generalization and high performance without the need for human demonstration.