SkillBlender: Hin zu vielseitiger Ganzkörper-Loko-Manipulation von Humanoiden durch Skill-Blending

SkillBlender: Towards Versatile Humanoid Whole-Body Loco-Manipulation via Skill Blending

June 11, 2025

Autoren: Yuxuan Kuang, Haoran Geng, Amine Elhafsi, Tan-Dzung Do, Pieter Abbeel, Jitendra Malik, Marco Pavone, Yue Wang

cs.AI

Zusammenfassung

Humanoide Roboter besitzen ein erhebliches Potenzial, tägliche Aufgaben in verschiedenen Umgebungen zu bewältigen, dank ihrer Flexibilität und menschenähnlichen Morphologie. Aktuelle Arbeiten haben bedeutende Fortschritte in der Ganzkörpersteuerung und Loko-Manipulation von humanoiden Robotern erzielt, indem sie optimale Steuerung oder Reinforcement Learning nutzen. Diese Methoden erfordern jedoch eine mühsame, aufgabenspezifische Anpassung für jede Aufgabe, um zufriedenstellende Verhaltensweisen zu erreichen, was ihre Vielseitigkeit und Skalierbarkeit für diverse Aufgaben in alltäglichen Szenarien einschränkt. Zu diesem Zweck stellen wir SkillBlender vor, ein neuartiges hierarchisches Reinforcement-Learning-Framework für vielseitige humanoide Loko-Manipulation. SkillBlender trainiert zunächst zielbedingte, aufgabenunabhängige primitive Fähigkeiten vor und kombiniert diese dann dynamisch, um komplexe Loko-Manipulationsaufgaben mit minimaler aufgabenspezifischer Belohnungsgestaltung zu bewältigen. Wir führen auch SkillBench ein, einen parallelen, körperübergreifenden und vielfältigen simulierten Benchmark, der drei Körperformen, vier primitive Fähigkeiten und acht anspruchsvolle Loko-Manipulationsaufgaben umfasst, begleitet von einer Reihe wissenschaftlicher Bewertungsmetriken, die Genauigkeit und Machbarkeit ausbalancieren. Umfangreiche Simulationsexperimente zeigen, dass unsere Methode alle Baselines deutlich übertrifft, während sie Verhaltensweisen natürlich reguliert, um Belohnungsmanipulation zu vermeiden, was zu präziseren und machbareren Bewegungen für diverse Loko-Manipulationsaufgaben in unseren alltäglichen Szenarien führt. Unser Code und Benchmark werden der Gemeinschaft zur Verfügung gestellt, um zukünftige Forschung zu fördern. Projektseite: https://usc-gvl.github.io/SkillBlender-web/.

English

Humanoid robots hold significant potential in accomplishing daily tasks across diverse environments thanks to their flexibility and human-like morphology. Recent works have made significant progress in humanoid whole-body control and loco-manipulation leveraging optimal control or reinforcement learning. However, these methods require tedious task-specific tuning for each task to achieve satisfactory behaviors, limiting their versatility and scalability to diverse tasks in daily scenarios. To that end, we introduce SkillBlender, a novel hierarchical reinforcement learning framework for versatile humanoid loco-manipulation. SkillBlender first pretrains goal-conditioned task-agnostic primitive skills, and then dynamically blends these skills to accomplish complex loco-manipulation tasks with minimal task-specific reward engineering. We also introduce SkillBench, a parallel, cross-embodiment, and diverse simulated benchmark containing three embodiments, four primitive skills, and eight challenging loco-manipulation tasks, accompanied by a set of scientific evaluation metrics balancing accuracy and feasibility. Extensive simulated experiments show that our method significantly outperforms all baselines, while naturally regularizing behaviors to avoid reward hacking, resulting in more accurate and feasible movements for diverse loco-manipulation tasks in our daily scenarios. Our code and benchmark will be open-sourced to the community to facilitate future research. Project page: https://usc-gvl.github.io/SkillBlender-web/.