Apprentissage de Robot Débruité par Prétraitement Séparé des Dynamiques Directe et Inverse

Résumé

Les modèles vision-langage-action (VLA) présentent un grand potentiel pour développer des robots généralistes, mais se heurtent à un dilemme : le désalignement entre la prédiction d'images 2D et la prévision d'actions 3D. De plus, cette approche d'entraînement entremêlant vision et action limite l'apprentissage à partir de données vidéo web à grande échelle dépourvues d'annotations action. Pour résoudre ces problèmes, nous proposons DeFI, un nouveau cadre qui Découple le pré-entraînement des dynamiques visuelles Directes et Inverses pour exploiter leurs sources de données respectives, où la génération vidéo et la prédiction d'actions sont dissociées. Nous introduisons le Modèle de Dynamique Directe Général (GFDM), pré-entraîné sur des vidéos diverses d'humains et de robots pour la prédiction future, et le Modèle de Dynamique Inverse Général (GIDM), entraîné via un apprentissage auto-supervisé pour inférer des actions latentes à partir de transitions vidéo non étiquetées. Ces modèles sont ensuite intégrés dans une architecture unifiée pour un réglage fin de bout en bout sur des tâches en aval. Ainsi, GFDM et GIDM excellent d'abord séparément puis coopèrent pour un bénéfice mutuel. Des expériences approfondies sur CALVIN ABC-D et SimplerEnv démontrent des performances à la pointe de l'état de l'art, DeFI atteignant une longueur de tâche moyenne de 4,51 pour CALVIN, un taux de réussite de 51,2 % sur le benchmark SimplerEnv-Fractal et 81,3 % en déploiement réel, surpassant significativement les méthodes antérieures.

English

Vision-language-action (VLA) models have shown great potential in building generalist robots, but still face a dilemma-misalignment of 2D image forecasting and 3D action prediction. Besides, such a vision-action entangled training manner limits model learning from large-scale, action-free web video data. To address these issues, we propose DeFI, a novel framework that Decouples visual Forward and Inverse dynamics pretraining to exploit respective data sources, wherein video generation and action prediction are disentangled. We introduce the General Forward Dynamics Model (GFDM), pretrained on diverse human and robot videos for future prediction, and the General Inverse Dynamics Model (GIDM), trained via self-supervised learning to infer latent actions from unlabeled video transitions. These models are then integrated into a unified architecture for end-to-end finetuning on downstream tasks. In this manner, GFDM and GIDM first shine separately and then cooperate for mutual benefit. Extensive experiments on CALVIN ABC-D and SimplerEnv demonstrate state-of-the-art performance, with DeFI achieving an average task length of 4.51 for CALVIN, 51.2% success rate on SimplerEnv-Fractal benchmark and 81.3% success rate in real-world deployment, significantly outperforming prior methods.