Titre : Jeton de Mouvement Latent comme Langage de Liaison pour la Manipulation de Robots

Moto: Latent Motion Token as the Bridging Language for Robot Manipulation

December 5, 2024

Auteurs: Yi Chen, Yuying Ge, Yizhuo Li, Yixiao Ge, Mingyu Ding, Ying Shan, Xihui Liu

cs.AI

Résumé

Les récents développements des grands modèles de langage pré-entraînés sur des corpus étendus ont montré un succès significatif dans diverses tâches de traitement du langage naturel avec un minimum de fine-tuning. Ce succès offre de nouvelles perspectives pour la robotique, qui a longtemps été limitée par le coût élevé des données annotées d'actions. Nous nous demandons : étant donné l'abondance de données vidéo contenant des connaissances liées à l'interaction disponibles en tant que riche "corpus", une approche similaire de pré-entraînement génératif peut-elle être appliquée de manière efficace pour améliorer l'apprentissage des robots ? Le défi clé est d'identifier une représentation efficace pour le pré-entraînement autorégressif qui bénéficie aux tâches de manipulation robotique. Inspirés par la façon dont les humains apprennent de nouvelles compétences en observant des environnements dynamiques, nous proposons que l'apprentissage robotique efficace devrait mettre l'accent sur les connaissances liées au mouvement, étroitement liées aux actions de bas niveau et indépendantes du matériel, facilitant le transfert des mouvements appris aux actions réelles des robots. À cette fin, nous introduisons Moto, qui convertit le contenu vidéo en séquences de jetons de mouvement latents par un Tokenizer de Mouvement Latent, apprenant un "langage" de pontage du mouvement à partir de vidéos de manière non supervisée. Nous pré-entraînons Moto-GPT par autorégression de jetons de mouvement, lui permettant de capturer diverses connaissances visuelles sur le mouvement. Après le pré-entraînement, Moto-GPT démontre la capacité prometteuse de produire des jetons de mouvement sémantiquement interprétables, de prédire des trajectoires de mouvement plausibles et d'évaluer la rationalité des trajectoires grâce à la probabilité de sortie. Pour transférer les connaissances sur les mouvements appris aux actions réelles des robots, nous mettons en œuvre une stratégie de co-fine-tuning qui relie de manière transparente la prédiction de jetons de mouvement latents et le contrôle réel des robots. Des expériences approfondies montrent que le Moto-GPT finement réglé présente une robustesse et une efficacité supérieures sur les référentiels de manipulation robotique, soulignant son efficacité dans le transfert de connaissances des données vidéo aux tâches de manipulation visuelle en aval.

English

Recent developments in Large Language Models pre-trained on extensive corpora have shown significant success in various natural language processing tasks with minimal fine-tuning. This success offers new promise for robotics, which has long been constrained by the high cost of action-labeled data. We ask: given the abundant video data containing interaction-related knowledge available as a rich "corpus", can a similar generative pre-training approach be effectively applied to enhance robot learning? The key challenge is to identify an effective representation for autoregressive pre-training that benefits robot manipulation tasks. Inspired by the way humans learn new skills through observing dynamic environments, we propose that effective robotic learning should emphasize motion-related knowledge, which is closely tied to low-level actions and is hardware-agnostic, facilitating the transfer of learned motions to actual robot actions. To this end, we introduce Moto, which converts video content into latent Motion Token sequences by a Latent Motion Tokenizer, learning a bridging "language" of motion from videos in an unsupervised manner. We pre-train Moto-GPT through motion token autoregression, enabling it to capture diverse visual motion knowledge. After pre-training, Moto-GPT demonstrates the promising ability to produce semantically interpretable motion tokens, predict plausible motion trajectories, and assess trajectory rationality through output likelihood. To transfer learned motion priors to real robot actions, we implement a co-fine-tuning strategy that seamlessly bridges latent motion token prediction and real robot control. Extensive experiments show that the fine-tuned Moto-GPT exhibits superior robustness and efficiency on robot manipulation benchmarks, underscoring its effectiveness in transferring knowledge from video data to downstream visual manipulation tasks.