Aprendizaje por Refuerzo de Simulación a Realidad para la Manipulación Diestra Basada en Visión en Humanoides

Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

February 27, 2025

Autores: Toru Lin, Kartik Sachdev, Linxi Fan, Jitendra Malik, Yuke Zhu

cs.AI

Resumen

El aprendizaje por refuerzo ha obtenido resultados prometedores al alcanzar capacidades a nivel humano o incluso superhumano en diversos dominios de problemas, pero el éxito en la manipulación diestra de robots sigue siendo limitado. Este trabajo investiga los principales desafíos al aplicar el aprendizaje por refuerzo para resolver una colección de tareas de manipulación ricas en contacto en una encarnación humanoide. Introducimos técnicas novedosas para superar los desafíos identificados con validación empírica. Nuestras principales contribuciones incluyen un módulo de ajuste automático de simulación a realidad que acerca el entorno simulado al mundo real, un esquema de diseño de recompensas generalizado que simplifica la ingeniería de recompensas para tareas de manipulación ricas en contacto de largo horizonte, un proceso de destilación de divide y vencerás que mejora la eficiencia de muestreo en problemas de exploración difícil mientras mantiene el rendimiento de simulación a realidad, y una mezcla de representaciones de objetos dispersas y densas para cerrar la brecha de percepción entre simulación y realidad. Mostramos resultados prometedores en tres tareas de manipulación diestra con humanoides, con estudios de ablación en cada técnica. Nuestro trabajo presenta un enfoque exitoso para aprender la manipulación diestra con humanoides utilizando aprendizaje por refuerzo de simulación a realidad, logrando una generalización robusta y un alto rendimiento sin necesidad de demostración humana.

English

Reinforcement learning has delivered promising results in achieving human- or even superhuman-level capabilities across diverse problem domains, but success in dexterous robot manipulation remains limited. This work investigates the key challenges in applying reinforcement learning to solve a collection of contact-rich manipulation tasks on a humanoid embodiment. We introduce novel techniques to overcome the identified challenges with empirical validation. Our main contributions include an automated real-to-sim tuning module that brings the simulated environment closer to the real world, a generalized reward design scheme that simplifies reward engineering for long-horizon contact-rich manipulation tasks, a divide-and-conquer distillation process that improves the sample efficiency of hard-exploration problems while maintaining sim-to-real performance, and a mixture of sparse and dense object representations to bridge the sim-to-real perception gap. We show promising results on three humanoid dexterous manipulation tasks, with ablation studies on each technique. Our work presents a successful approach to learning humanoid dexterous manipulation using sim-to-real reinforcement learning, achieving robust generalization and high performance without the need for human demonstration.