Apprentissage lors du déploiement : Apprentissage par renforcement à l'échelle d'une flotte pour des politiques robotiques généralistes
Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies
May 1, 2026
Auteurs: Yi Wang, Xinchen Li, Pengwei Xie, Pu Yang, Buqing Nie, Yunuo Cai, Qinglin Zhang, Chendi Qu, Jeffrey Wu, Jianheng Song, Xinlin Ren, Jingshun Huang, Mingjie Pan, Siyuan Feng, Zhi Chen, Jianlan Luo
cs.AI
Résumé
Les politiques de robots généralistes bénéficient de plus en plus du pré-entraînement à grande échelle, mais les données hors ligne seules sont insuffisantes pour un déploiement robuste dans le monde réel. Les robots déployés rencontrent des décalages de distribution, des défaillances de longue traîne, des variations de tâches et des opportunités de correction humaine que les jeux de données de démonstration fixes ne peuvent pleinement capturer. Nous présentons Apprentissage Pendant le Déploiement (LWD), un cadre d'apprentissage par renforcement hors ligne-vers-en-ligne à l'échelle d'une flotte pour le post-entraînement continu de politiques généralistes Vision-Langage-Action (VLA). En partant d'une politique VLA pré-entraînée, LWD boucle la boucle entre déploiement, expérience physique partagée, amélioration de la politique et redéploiement en utilisant des déploiements autonomes et des interventions humaines collectées à travers une flotte de robots. Pour stabiliser l'apprentissage à partir de données de flotte hétérogènes et à récompense éparse, LWD combine l'Apprentissage de Valeur Implicite Distributionnelle (DIVL) pour une estimation robuste de la valeur avec l'apprentissage Q par Adjoint Matching (QAM) pour l'extraction de politiques dans les générateurs d'actions VLA basés sur les flux. Nous validons LWD sur une flotte de 16 robots à deux bras à travers huit tâches de manipulation réelles, incluant le réapprovisionnement sémantique d'épicerie et des tâches à long horizon de 3 à 5 minutes. Une politique généraliste unique s'améliore à mesure que l'expérience de la flotte s'accumule, atteignant un taux de réussite moyen de 95 %, avec les gains les plus importants sur les tâches à long horizon.
English
Generalist robot policies increasingly benefit from large-scale pretraining, but offline data alone is insufficient for robust real-world deployment. Deployed robots encounter distribution shifts, long-tail failures, task variations, and human correction opportunities that fixed demonstration datasets cannot fully capture. We present Learning While Deploying (LWD), a fleet-scale offline-to-online reinforcement learning framework for continual post-training of generalist Vision-Language-Action (VLA) policies. Starting from a pretrained VLA policy, LWD closes the loop between deployment, shared physical experience, policy improvement, and redeployment by using autonomous rollouts and human interventions collected across a robot fleet. To stabilize learning from heterogeneous, sparse-reward fleet data, LWD combines Distributional Implicit Value Learning (DIVL) for robust value estimation with Q-learning via Adjoint Matching (QAM) for policy extraction in flow-based VLA action generators. We validate LWD on a fleet of 16 dual-arm robots across eight real-world manipulation tasks, including semantic grocery restocking and 3--5 minute long-horizon tasks. A single generalist policy improves as fleet experience accumulates, reaching an average success rate of 95%, with the largest gains on long-horizon tasks.