SkillBlender: Rumo à Versatilidade na Locomoção-Manipulação Corporal Total de Humanoides via Fusão de Habilidades

SkillBlender: Towards Versatile Humanoid Whole-Body Loco-Manipulation via Skill Blending

June 11, 2025

Autores: Yuxuan Kuang, Haoran Geng, Amine Elhafsi, Tan-Dzung Do, Pieter Abbeel, Jitendra Malik, Marco Pavone, Yue Wang

cs.AI

Resumo

Robôs humanoides possuem um potencial significativo para realizar tarefas diárias em diversos ambientes, graças à sua flexibilidade e morfologia semelhante à humana. Trabalhos recentes têm feito progressos notáveis no controle de corpo inteiro e na loco-manipulação de humanoides, utilizando controle ótimo ou aprendizado por reforço. No entanto, esses métodos exigem ajustes tediosos e específicos para cada tarefa a fim de alcançar comportamentos satisfatórios, limitando sua versatilidade e escalabilidade para diversas tarefas em cenários cotidianos. Para isso, apresentamos o SkillBlender, uma nova estrutura hierárquica de aprendizado por reforço para loco-manipulação versátil de humanoides. O SkillBlender primeiro pré-treina habilidades primitivas agnósticas à tarefa condicionadas por objetivos e, em seguida, combina dinamicamente essas habilidades para realizar tarefas complexas de loco-manipulação com engenharia de recompensa mínima e específica para a tarefa. Também introduzimos o SkillBench, um benchmark simulado paralelo, de múltiplas embodiências e diversificado, contendo três embodiências, quatro habilidades primitivas e oito tarefas desafiadoras de loco-manipulação, acompanhadas por um conjunto de métricas de avaliação científica que equilibram precisão e viabilidade. Experimentos simulados extensivos mostram que nosso método supera significativamente todas as baselines, enquanto regulariza naturalmente os comportamentos para evitar "reward hacking", resultando em movimentos mais precisos e viáveis para diversas tarefas de loco-manipulação em nossos cenários cotidianos. Nosso código e benchmark serão disponibilizados à comunidade para facilitar pesquisas futuras. Página do projeto: https://usc-gvl.github.io/SkillBlender-web/.

English

Humanoid robots hold significant potential in accomplishing daily tasks across diverse environments thanks to their flexibility and human-like morphology. Recent works have made significant progress in humanoid whole-body control and loco-manipulation leveraging optimal control or reinforcement learning. However, these methods require tedious task-specific tuning for each task to achieve satisfactory behaviors, limiting their versatility and scalability to diverse tasks in daily scenarios. To that end, we introduce SkillBlender, a novel hierarchical reinforcement learning framework for versatile humanoid loco-manipulation. SkillBlender first pretrains goal-conditioned task-agnostic primitive skills, and then dynamically blends these skills to accomplish complex loco-manipulation tasks with minimal task-specific reward engineering. We also introduce SkillBench, a parallel, cross-embodiment, and diverse simulated benchmark containing three embodiments, four primitive skills, and eight challenging loco-manipulation tasks, accompanied by a set of scientific evaluation metrics balancing accuracy and feasibility. Extensive simulated experiments show that our method significantly outperforms all baselines, while naturally regularizing behaviors to avoid reward hacking, resulting in more accurate and feasible movements for diverse loco-manipulation tasks in our daily scenarios. Our code and benchmark will be open-sourced to the community to facilitate future research. Project page: https://usc-gvl.github.io/SkillBlender-web/.