SkillBlender : Vers une manipulation loco-motrice polyvalente pour les humanoïdes via le mélange de compétences

SkillBlender: Towards Versatile Humanoid Whole-Body Loco-Manipulation via Skill Blending

June 11, 2025

Auteurs: Yuxuan Kuang, Haoran Geng, Amine Elhafsi, Tan-Dzung Do, Pieter Abbeel, Jitendra Malik, Marco Pavone, Yue Wang

cs.AI

Résumé

Les robots humanoïdes présentent un potentiel significatif pour accomplir des tâches quotidiennes dans divers environnements grâce à leur flexibilité et leur morphologie proche de l'humain. Les travaux récents ont réalisé des progrès notables dans le contrôle global du corps et la loco-manipulation des humanoïdes en exploitant le contrôle optimal ou l'apprentissage par renforcement. Cependant, ces méthodes nécessitent un réglage fastidieux spécifique à chaque tâche pour obtenir des comportements satisfaisants, ce qui limite leur polyvalence et leur évolutivité face à des tâches variées dans des scénarios quotidiens. Pour pallier cela, nous présentons SkillBlender, un nouveau cadre d'apprentissage par renforcement hiérarchique pour la loco-manipulation polyvalente des humanoïdes. SkillBlender pré-entraîne d'abord des compétences primitives agnostiques aux tâches et conditionnées par un objectif, puis combine dynamiquement ces compétences pour accomplir des tâches complexes de loco-manipulation avec un minimum d'ingénierie de récompense spécifique à la tâche. Nous introduisons également SkillBench, un benchmark simulé parallèle, trans-embodiment et diversifié contenant trois embodiments, quatre compétences primitives et huit tâches de loco-manipulation difficiles, accompagné d'un ensemble de métriques d'évaluation scientifiques équilibrant précision et faisabilité. Des expériences simulées approfondies montrent que notre méthode surpasse significativement toutes les approches de référence, tout en régularisant naturellement les comportements pour éviter le piratage des récompenses, ce qui se traduit par des mouvements plus précis et réalisables pour diverses tâches de loco-manipulation dans nos scénarios quotidiens. Notre code et notre benchmark seront mis à disposition de la communauté pour faciliter les recherches futures. Page du projet : https://usc-gvl.github.io/SkillBlender-web/.

English

Humanoid robots hold significant potential in accomplishing daily tasks across diverse environments thanks to their flexibility and human-like morphology. Recent works have made significant progress in humanoid whole-body control and loco-manipulation leveraging optimal control or reinforcement learning. However, these methods require tedious task-specific tuning for each task to achieve satisfactory behaviors, limiting their versatility and scalability to diverse tasks in daily scenarios. To that end, we introduce SkillBlender, a novel hierarchical reinforcement learning framework for versatile humanoid loco-manipulation. SkillBlender first pretrains goal-conditioned task-agnostic primitive skills, and then dynamically blends these skills to accomplish complex loco-manipulation tasks with minimal task-specific reward engineering. We also introduce SkillBench, a parallel, cross-embodiment, and diverse simulated benchmark containing three embodiments, four primitive skills, and eight challenging loco-manipulation tasks, accompanied by a set of scientific evaluation metrics balancing accuracy and feasibility. Extensive simulated experiments show that our method significantly outperforms all baselines, while naturally regularizing behaviors to avoid reward hacking, resulting in more accurate and feasible movements for diverse loco-manipulation tasks in our daily scenarios. Our code and benchmark will be open-sourced to the community to facilitate future research. Project page: https://usc-gvl.github.io/SkillBlender-web/.