Захват разнообразных объектов с помощью симулированных гуманоидов

Grasping Diverse Objects with Simulated Humanoids

July 16, 2024

Авторы: Zhengyi Luo, Jinkun Cao, Sammy Christen, Alexander Winkler, Kris Kitani, Weipeng Xu

cs.AI

Аннотация

Мы представляем метод управления имитационным гуманоидом для захвата объекта и перемещения его по траектории объекта. Из-за сложностей управления гуманоидом с ловкими руками предыдущие методы часто используют отсоединенную руку и рассматривают только вертикальные подъемы или короткие траектории. Этот ограниченный подход снижает их применимость для манипулирования объектами, необходимого для анимации и моделирования. Для устранения этого недостатка мы обучаем контроллер, который может поднимать большое количество (>1200) объектов и перемещать их по случайно сгенерированным траекториям. Наш ключевой принцип заключается в использовании представления движения гуманоида, обеспечивающего навыки движения, сходные с человеческими, и значительно ускоряющего обучение. Используя только упрощенные награды, состояния и представления объектов, наш метод демонстрирует благоприятную масштабируемость на различных объектах и траекториях. Для обучения нам не требуется набор данных с сопоставленными полными движениями тела и траекториями объектов. На этапе тестирования нам нужно только сетчатку объекта и желаемые траектории для захвата и перемещения. Для демонстрации возможностей нашего метода мы показываем лидирующие показатели успешности в следовании за траекториями объектов и обобщении на невидимые объекты. Код и модели будут опубликованы.

English

We present a method for controlling a simulated humanoid to grasp an object and move it to follow an object trajectory. Due to the challenges in controlling a humanoid with dexterous hands, prior methods often use a disembodied hand and only consider vertical lifts or short trajectories. This limited scope hampers their applicability for object manipulation required for animation and simulation. To close this gap, we learn a controller that can pick up a large number (>1200) of objects and carry them to follow randomly generated trajectories. Our key insight is to leverage a humanoid motion representation that provides human-like motor skills and significantly speeds up training. Using only simplistic reward, state, and object representations, our method shows favorable scalability on diverse object and trajectories. For training, we do not need dataset of paired full-body motion and object trajectories. At test time, we only require the object mesh and desired trajectories for grasping and transporting. To demonstrate the capabilities of our method, we show state-of-the-art success rates in following object trajectories and generalizing to unseen objects. Code and models will be released.