Diverse objecten grijpen met gesimuleerde humanoïden

Grasping Diverse Objects with Simulated Humanoids

July 16, 2024

Auteurs: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Samenvatting

We presenteren een methode voor het besturen van een gesimuleerd humanoïde om een object te grijpen en te verplaatsen om een objecttrajectorie te volgen. Vanwege de uitdagingen bij het besturen van een humanoïde met behendige handen, gebruiken eerdere methoden vaak een losse hand en overwegen ze alleen verticale liften of korte trajecten. Deze beperkte reikwijdte belemmert hun toepasbaarheid voor objectmanipulatie die nodig is voor animatie en simulatie. Om deze kloof te dichten, leren we een controller die een groot aantal (>1200) objecten kan oppakken en vervoeren om willekeurig gegenereerde trajecten te volgen. Onze belangrijkste inzicht is het benutten van een humanoïde bewegingsrepresentatie die menselijke motorische vaardigheden biedt en de training aanzienlijk versnelt. Met alleen eenvoudige beloningen, toestands- en objectrepresentaties toont onze methode een gunstige schaalbaarheid op diverse objecten en trajecten. Voor de training hebben we geen dataset nodig van gepaarde volledige lichaamsbewegingen en objecttrajecten. Tijdens de test hebben we alleen het objectmesh en de gewenste trajecten nodig voor het grijpen en transporteren. Om de mogelijkheden van onze methode te demonstreren, tonen we state-of-the-art succespercentages in het volgen van objecttrajecten en het generaliseren naar onbekende objecten. Code en modellen zullen worden vrijgegeven.

English

We present a method for controlling a simulated humanoid to grasp an object and move it to follow an object trajectory. Due to the challenges in controlling a humanoid with dexterous hands, prior methods often use a disembodied hand and only consider vertical lifts or short trajectories. This limited scope hampers their applicability for object manipulation required for animation and simulation. To close this gap, we learn a controller that can pick up a large number (>1200) of objects and carry them to follow randomly generated trajectories. Our key insight is to leverage a humanoid motion representation that provides human-like motor skills and significantly speeds up training. Using only simplistic reward, state, and object representations, our method shows favorable scalability on diverse object and trajectories. For training, we do not need dataset of paired full-body motion and object trajectories. At test time, we only require the object mesh and desired trajectories for grasping and transporting. To demonstrate the capabilities of our method, we show state-of-the-art success rates in following object trajectories and generalizing to unseen objects. Code and models will be released.