Manipulação de Objetos Diversos com Humanoides Simulados

Grasping Diverse Objects with Simulated Humanoids

July 16, 2024

Autores: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Resumo

Apresentamos um método para controlar um humanoide simulado para agarrar um objeto e movê-lo para seguir uma trajetória de objeto. Devido aos desafios de controlar um humanoide com mãos habilidosas, métodos anteriores frequentemente utilizam uma mão desencarnada e consideram apenas elevações verticais ou trajetórias curtas. Este escopo limitado prejudica sua aplicabilidade para manipulação de objetos necessária para animação e simulação. Para preencher essa lacuna, aprendemos um controlador que pode pegar um grande número (>1200) de objetos e transportá-los para seguir trajetórias geradas aleatoriamente. Nosso insight chave é alavancar uma representação de movimento humanoide que fornece habilidades motoras semelhantes às humanas e acelera significativamente o treinamento. Usando apenas recompensas, estados e representações de objetos simplistas, nosso método mostra escalabilidade favorável em objetos e trajetórias diversos. Para o treinamento, não precisamos de conjunto de dados de movimento de corpo inteiro em pares e trajetórias de objetos. No momento do teste, só requeremos a malha do objeto e as trajetórias desejadas para agarrar e transportar. Para demonstrar as capacidades do nosso método, mostramos taxas de sucesso de ponta ao seguir trajetórias de objetos e generalizar para objetos não vistos anteriormente. O código e os modelos serão disponibilizados.

English

We present a method for controlling a simulated humanoid to grasp an object and move it to follow an object trajectory. Due to the challenges in controlling a humanoid with dexterous hands, prior methods often use a disembodied hand and only consider vertical lifts or short trajectories. This limited scope hampers their applicability for object manipulation required for animation and simulation. To close this gap, we learn a controller that can pick up a large number (>1200) of objects and carry them to follow randomly generated trajectories. Our key insight is to leverage a humanoid motion representation that provides human-like motor skills and significantly speeds up training. Using only simplistic reward, state, and object representations, our method shows favorable scalability on diverse object and trajectories. For training, we do not need dataset of paired full-body motion and object trajectories. At test time, we only require the object mesh and desired trajectories for grasping and transporting. To demonstrate the capabilities of our method, we show state-of-the-art success rates in following object trajectories and generalizing to unseen objects. Code and models will be released.