Aprendizado por Reforço de Simulação para Realidade para Manipulação Habilidosa Baseada em Visão em Humanoides

Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

February 27, 2025

Autores: Toru Lin, Kartik Sachdev, Linxi Fan, Jitendra Malik, Yuke Zhu

cs.AI

Resumo

O aprendizado por reforço tem apresentado resultados promissores ao alcançar capacidades em nível humano ou até super-humano em diversos domínios de problemas, mas o sucesso na manipulação ágil por robôs ainda é limitado. Este trabalho investiga os principais desafios na aplicação do aprendizado por reforço para resolver uma coleção de tarefas de manipulação ricas em contato em uma plataforma humanóide. Introduzimos técnicas inovadoras para superar os desafios identificados, com validação empírica. Nossas principais contribuições incluem um módulo automatizado de ajuste de simulação para realidade que aproxima o ambiente simulado do mundo real, um esquema generalizado de design de recompensas que simplifica a engenharia de recompensas para tarefas de manipulação ricas em contato de longo horizonte, um processo de destilação de divisão e conquista que melhora a eficiência de amostragem em problemas de exploração difícil enquanto mantém o desempenho de simulação para realidade, e uma mistura de representações esparsas e densas de objetos para reduzir a lacuna de percepção entre simulação e realidade. Mostramos resultados promissores em três tarefas de manipulação ágil com humanóides, com estudos de ablação para cada técnica. Nosso trabalho apresenta uma abordagem bem-sucedida para o aprendizado de manipulação ágil com humanóides usando aprendizado por reforço de simulação para realidade, alcançando generalização robusta e alto desempenho sem a necessidade de demonstração humana.

English

Reinforcement learning has delivered promising results in achieving human- or even superhuman-level capabilities across diverse problem domains, but success in dexterous robot manipulation remains limited. This work investigates the key challenges in applying reinforcement learning to solve a collection of contact-rich manipulation tasks on a humanoid embodiment. We introduce novel techniques to overcome the identified challenges with empirical validation. Our main contributions include an automated real-to-sim tuning module that brings the simulated environment closer to the real world, a generalized reward design scheme that simplifies reward engineering for long-horizon contact-rich manipulation tasks, a divide-and-conquer distillation process that improves the sample efficiency of hard-exploration problems while maintaining sim-to-real performance, and a mixture of sparse and dense object representations to bridge the sim-to-real perception gap. We show promising results on three humanoid dexterous manipulation tasks, with ablation studies on each technique. Our work presents a successful approach to learning humanoid dexterous manipulation using sim-to-real reinforcement learning, achieving robust generalization and high performance without the need for human demonstration.