SkillBlender: Versatilità nella Loco-Manipolazione Corporea Totale per Umanoidi tramite Fusione di Abilità

SkillBlender: Towards Versatile Humanoid Whole-Body Loco-Manipulation via Skill Blending

June 11, 2025

Autori: Yuxuan Kuang, Haoran Geng, Amine Elhafsi, Tan-Dzung Do, Pieter Abbeel, Jitendra Malik, Marco Pavone, Yue Wang

cs.AI

Abstract

I robot umanoidi possiedono un potenziale significativo nel portare a termine compiti quotidiani in ambienti diversi grazie alla loro flessibilità e morfologia simile a quella umana. Recenti lavori hanno fatto progressi significativi nel controllo globale del corpo umanoide e nella loco-manipolazione sfruttando il controllo ottimale o l'apprendimento per rinforzo. Tuttavia, questi metodi richiedono una laboriosa regolazione specifica per ogni compito per ottenere comportamenti soddisfacenti, limitando la loro versatilità e scalabilità a una varietà di compiti negli scenari quotidiani. A tal fine, introduciamo SkillBlender, un nuovo framework gerarchico di apprendimento per rinforzo per la loco-manipolazione versatile dei robot umanoidi. SkillBlender pre-allena prima abilità primitive agnostiche rispetto al compito e condizionate all'obiettivo, e poi combina dinamicamente queste abilità per portare a termine complessi compiti di loco-manipolazione con un minimo ingegnerizzazione specifica delle ricompense. Introduciamo anche SkillBench, un benchmark simulato parallelo, cross-embodiment e diversificato che contiene tre embodiment, quattro abilità primitive e otto impegnativi compiti di loco-manipolazione, accompagnato da una serie di metriche di valutazione scientifica che bilanciano accuratezza e fattibilità. Estesi esperimenti simulati mostrano che il nostro metodo supera significativamente tutti i baseline, regolando naturalmente i comportamenti per evitare il reward hacking, risultando in movimenti più accurati e fattibili per una varietà di compiti di loco-manipolazione nei nostri scenari quotidiani. Il nostro codice e benchmark saranno open-source per la comunità per facilitare la ricerca futura. Pagina del progetto: https://usc-gvl.github.io/SkillBlender-web/.

English

Humanoid robots hold significant potential in accomplishing daily tasks across diverse environments thanks to their flexibility and human-like morphology. Recent works have made significant progress in humanoid whole-body control and loco-manipulation leveraging optimal control or reinforcement learning. However, these methods require tedious task-specific tuning for each task to achieve satisfactory behaviors, limiting their versatility and scalability to diverse tasks in daily scenarios. To that end, we introduce SkillBlender, a novel hierarchical reinforcement learning framework for versatile humanoid loco-manipulation. SkillBlender first pretrains goal-conditioned task-agnostic primitive skills, and then dynamically blends these skills to accomplish complex loco-manipulation tasks with minimal task-specific reward engineering. We also introduce SkillBench, a parallel, cross-embodiment, and diverse simulated benchmark containing three embodiments, four primitive skills, and eight challenging loco-manipulation tasks, accompanied by a set of scientific evaluation metrics balancing accuracy and feasibility. Extensive simulated experiments show that our method significantly outperforms all baselines, while naturally regularizing behaviors to avoid reward hacking, resulting in more accurate and feasible movements for diverse loco-manipulation tasks in our daily scenarios. Our code and benchmark will be open-sourced to the community to facilitate future research. Project page: https://usc-gvl.github.io/SkillBlender-web/.