Afferrare Oggetti Diversificati con Umanoidi Simulati

Grasping Diverse Objects with Simulated Humanoids

July 16, 2024

Autori: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Abstract

Presentiamo un metodo per controllare un umanoide simulato affinché afferri un oggetto e lo muova per seguire una traiettoria specifica. A causa delle difficoltà nel controllare un umanoide con mani articolate, i metodi precedenti spesso utilizzano una mano isolata e considerano solo sollevamenti verticali o traiettorie brevi. Questo ambito limitato ne riduce l'applicabilità per la manipolazione di oggetti necessaria in animazione e simulazione. Per colmare questa lacuna, apprendiamo un controller in grado di raccogliere un gran numero di oggetti (>1200) e trasportarli seguendo traiettorie generate casualmente. La nostra intuizione chiave è sfruttare una rappresentazione del movimento umanoide che fornisce abilità motorie simili a quelle umane e accelera significativamente l'addestramento. Utilizzando solo rappresentazioni semplici di ricompensa, stato e oggetto, il nostro metodo mostra una scalabilità favorevole su oggetti e traiettorie diverse. Per l'addestramento, non abbiamo bisogno di un dataset di movimenti corporei completi accoppiati a traiettorie di oggetti. Al momento del test, richiediamo solo la mesh dell'oggetto e le traiettorie desiderate per l'afferramento e il trasporto. Per dimostrare le capacità del nostro metodo, mostriamo tassi di successo all'avanguardia nel seguire traiettorie di oggetti e nel generalizzare a oggetti non visti in precedenza. Codice e modelli verranno rilasciati.

English

We present a method for controlling a simulated humanoid to grasp an object and move it to follow an object trajectory. Due to the challenges in controlling a humanoid with dexterous hands, prior methods often use a disembodied hand and only consider vertical lifts or short trajectories. This limited scope hampers their applicability for object manipulation required for animation and simulation. To close this gap, we learn a controller that can pick up a large number (>1200) of objects and carry them to follow randomly generated trajectories. Our key insight is to leverage a humanoid motion representation that provides human-like motor skills and significantly speeds up training. Using only simplistic reward, state, and object representations, our method shows favorable scalability on diverse object and trajectories. For training, we do not need dataset of paired full-body motion and object trajectories. At test time, we only require the object mesh and desired trajectories for grasping and transporting. To demonstrate the capabilities of our method, we show state-of-the-art success rates in following object trajectories and generalizing to unseen objects. Code and models will be released.