Agarre de Objetos Diversos con Humanoides Simulados

Grasping Diverse Objects with Simulated Humanoids

July 16, 2024

Autores: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Resumen

Presentamos un método para controlar un humanoide simulado para agarrar un objeto y moverlo siguiendo una trayectoria de objeto. Debido a los desafíos en el control de un humanoide con manos diestras, los métodos previos a menudo utilizan una mano desencarnada y solo consideran elevaciones verticales o trayectorias cortas. Este alcance limitado obstaculiza su aplicabilidad para la manipulación de objetos requerida para la animación y simulación. Para cerrar esta brecha, aprendemos un controlador que puede recoger una gran cantidad (>1200) de objetos y llevarlos a seguir trayectorias generadas aleatoriamente. Nuestra idea clave es aprovechar una representación de movimiento humanoide que proporciona habilidades motoras similares a las humanas y acelera significativamente el entrenamiento. Utilizando solo recompensas, estados y representaciones de objetos simplistas, nuestro método muestra una escalabilidad favorable en diversos objetos y trayectorias. Para el entrenamiento, no necesitamos un conjunto de datos de movimientos de cuerpo completo emparejados y trayectorias de objetos. En el momento de la prueba, solo requerimos la malla del objeto y las trayectorias deseadas para agarrar y transportar. Para demostrar las capacidades de nuestro método, mostramos tasas de éxito de vanguardia en el seguimiento de trayectorias de objetos y en la generalización a objetos no vistos. El código y los modelos serán publicados.

English

We present a method for controlling a simulated humanoid to grasp an object and move it to follow an object trajectory. Due to the challenges in controlling a humanoid with dexterous hands, prior methods often use a disembodied hand and only consider vertical lifts or short trajectories. This limited scope hampers their applicability for object manipulation required for animation and simulation. To close this gap, we learn a controller that can pick up a large number (>1200) of objects and carry them to follow randomly generated trajectories. Our key insight is to leverage a humanoid motion representation that provides human-like motor skills and significantly speeds up training. Using only simplistic reward, state, and object representations, our method shows favorable scalability on diverse object and trajectories. For training, we do not need dataset of paired full-body motion and object trajectories. At test time, we only require the object mesh and desired trajectories for grasping and transporting. To demonstrate the capabilities of our method, we show state-of-the-art success rates in following object trajectories and generalizing to unseen objects. Code and models will be released.