Мото: Латентный токен движения как связующий язык для манипуляции роботом

Moto: Latent Motion Token as the Bridging Language for Robot Manipulation

December 5, 2024

Авторы: Yi Chen, Yuying Ge, Yizhuo Li, Yixiao Ge, Mingyu Ding, Ying Shan, Xihui Liu

cs.AI

Аннотация

Недавние достижения в области крупных языковых моделей, предварительно обученных на обширных корпусах, показали значительный успех в различных задачах обработки естественного языка с минимальной донастройкой. Этот успех открывает новые перспективы для робототехники, которая долгое время ограничивалась высокой стоимостью данных с разметкой действий. Мы спрашиваем: учитывая обилие видеоданных, содержащих знания, связанные с взаимодействием, доступных как богатый "корпус", можно ли эффективно применить подобный подход к генеративному предварительному обучению для улучшения обучения роботов? Основным вызовом является определение эффективного представления для авторегрессивного предварительного обучения, которое бы способствовало задачам робототехники. Вдохновленные способом, которым люди усваивают новые навыки, наблюдая динамические окружающие среды, мы предполагаем, что эффективное обучение роботов должно акцентироваться на знаниях, связанных с движением, тесно связанных с низкоуровневыми действиями и не зависящих от аппаратного обеспечения, облегчая передачу усвоенных движений на фактические действия робота. Для этого мы представляем Moto, который преобразует видеоконтент в последовательности латентных токенов движения с помощью Латентного Токенизатора Движения, изучая связующий "язык" движения из видео в неупорядоченном режиме. Мы предварительно обучаем Moto-GPT через авторегрессию токенов движения, позволяя ему улавливать разнообразные знания о визуальном движении. После предварительного обучения Moto-GPT демонстрирует обещающую способность производить семантически интерпретируемые токены движения, предсказывать правдоподобные траектории движения и оценивать рациональность траектории через вероятность вывода. Для передачи усвоенных движений на реальные действия робота мы реализуем стратегию совместной донастройки, которая плавно соединяет предсказание латентных токенов движения и управление реальным роботом. Обширные эксперименты показывают, что донастроенный Moto-GPT проявляет превосходную устойчивость и эффективность на бенчмарках по манипуляции роботов, подчеркивая его эффективность в передаче знаний из видеоданных на задачи визуальной манипуляции нижестоящего уровня.

English

Recent developments in Large Language Models pre-trained on extensive corpora have shown significant success in various natural language processing tasks with minimal fine-tuning. This success offers new promise for robotics, which has long been constrained by the high cost of action-labeled data. We ask: given the abundant video data containing interaction-related knowledge available as a rich "corpus", can a similar generative pre-training approach be effectively applied to enhance robot learning? The key challenge is to identify an effective representation for autoregressive pre-training that benefits robot manipulation tasks. Inspired by the way humans learn new skills through observing dynamic environments, we propose that effective robotic learning should emphasize motion-related knowledge, which is closely tied to low-level actions and is hardware-agnostic, facilitating the transfer of learned motions to actual robot actions. To this end, we introduce Moto, which converts video content into latent Motion Token sequences by a Latent Motion Tokenizer, learning a bridging "language" of motion from videos in an unsupervised manner. We pre-train Moto-GPT through motion token autoregression, enabling it to capture diverse visual motion knowledge. After pre-training, Moto-GPT demonstrates the promising ability to produce semantically interpretable motion tokens, predict plausible motion trajectories, and assess trajectory rationality through output likelihood. To transfer learned motion priors to real robot actions, we implement a co-fine-tuning strategy that seamlessly bridges latent motion token prediction and real robot control. Extensive experiments show that the fine-tuned Moto-GPT exhibits superior robustness and efficiency on robot manipulation benchmarks, underscoring its effectiveness in transferring knowledge from video data to downstream visual manipulation tasks.