Das Greifen verschiedener Objekte mit simulierten Humanoiden

Grasping Diverse Objects with Simulated Humanoids

July 16, 2024

papers.authors: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

papers.abstract

Wir präsentieren eine Methode zur Steuerung eines simulierten Humanoiden, um ein Objekt zu greifen und entlang einer Objekttrajektorie zu bewegen. Aufgrund der Herausforderungen bei der Steuerung eines Humanoiden mit geschickten Händen verwenden frühere Methoden häufig eine abgetrennte Hand und berücksichtigen nur vertikale Anhebungen oder kurze Trajektorien. Dieser begrenzte Umfang beeinträchtigt ihre Anwendbarkeit für die für Animation und Simulation erforderliche Objektmanipulation. Um diese Lücke zu schließen, lernen wir einen Controller, der eine große Anzahl (>1200) von Objekten aufnehmen und sie entlang zufällig generierter Trajektorien transportieren kann. Unser wichtigster Einblick besteht darin, eine Humanoiden-Bewegungsrepräsentation zu nutzen, die menschenähnliche motorische Fähigkeiten bietet und das Training erheblich beschleunigt. Unter Verwendung nur simplizistischer Belohnungen, Zustands- und Objektrepräsentationen zeigt unsere Methode eine günstige Skalierbarkeit bei verschiedenen Objekten und Trajektorien. Für das Training benötigen wir keine Datensätze von gepaarten Ganzkörpermotionen und Objekttrajektorien. Zur Testzeit benötigen wir nur das Objektgitter und die gewünschten Trajektorien zum Greifen und Transportieren. Um die Fähigkeiten unserer Methode zu demonstrieren, zeigen wir Erfolgsraten auf dem neuesten Stand der Technik bei der Verfolgung von Objekttrajektorien und der Verallgemeinerung auf unbekannte Objekte. Code und Modelle werden veröffentlicht.

English

We present a method for controlling a simulated humanoid to grasp an object and move it to follow an object trajectory. Due to the challenges in controlling a humanoid with dexterous hands, prior methods often use a disembodied hand and only consider vertical lifts or short trajectories. This limited scope hampers their applicability for object manipulation required for animation and simulation. To close this gap, we learn a controller that can pick up a large number (>1200) of objects and carry them to follow randomly generated trajectories. Our key insight is to leverage a humanoid motion representation that provides human-like motor skills and significantly speeds up training. Using only simplistic reward, state, and object representations, our method shows favorable scalability on diverse object and trajectories. For training, we do not need dataset of paired full-body motion and object trajectories. At test time, we only require the object mesh and desired trajectories for grasping and transporting. To demonstrate the capabilities of our method, we show state-of-the-art success rates in following object trajectories and generalizing to unseen objects. Code and models will be released.