Saisie d'objets divers par des humanoïdes simulés

Grasping Diverse Objects with Simulated Humanoids

July 16, 2024

Auteurs: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Résumé

Nous présentons une méthode pour contrôler un humanoïde simulé afin de saisir un objet et de le déplacer pour suivre une trajectoire donnée. En raison des difficultés liées au contrôle d'un humanoïde doté de mains habiles, les méthodes précédentes utilisent souvent une main isolée et ne considèrent que des soulèvements verticaux ou des trajectoires courtes. Cette limitation réduit leur applicabilité pour les manipulations d'objets nécessaires à l'animation et à la simulation. Pour combler cette lacune, nous apprenons un contrôleur capable de saisir un grand nombre d'objets (>1200) et de les transporter en suivant des trajectoires générées aléatoirement. Notre idée clé est d'exploiter une représentation du mouvement humanoïde qui fournit des compétences motrices humaines et accélère considérablement l'entraînement. En utilisant uniquement des représentations simplistes de la récompense, de l'état et des objets, notre méthode montre une scalabilité favorable sur une diversité d'objets et de trajectoires. Pour l'entraînement, nous n'avons pas besoin d'un ensemble de données de mouvements corporels complets associés à des trajectoires d'objets. Au moment du test, nous avons uniquement besoin du maillage de l'objet et des trajectoires souhaitées pour la saisie et le transport. Pour démontrer les capacités de notre méthode, nous montrons des taux de réussite de pointe dans le suivi de trajectoires d'objets et la généralisation à des objets non vus. Le code et les modèles seront publiés.

English

We present a method for controlling a simulated humanoid to grasp an object and move it to follow an object trajectory. Due to the challenges in controlling a humanoid with dexterous hands, prior methods often use a disembodied hand and only consider vertical lifts or short trajectories. This limited scope hampers their applicability for object manipulation required for animation and simulation. To close this gap, we learn a controller that can pick up a large number (>1200) of objects and carry them to follow randomly generated trajectories. Our key insight is to leverage a humanoid motion representation that provides human-like motor skills and significantly speeds up training. Using only simplistic reward, state, and object representations, our method shows favorable scalability on diverse object and trajectories. For training, we do not need dataset of paired full-body motion and object trajectories. At test time, we only require the object mesh and desired trajectories for grasping and transporting. To demonstrate the capabilities of our method, we show state-of-the-art success rates in following object trajectories and generalizing to unseen objects. Code and models will be released.