Aprendizaje durante el Despliegue: Aprendizaje por Refuerzo a Escala de Flota para Políticas de Robots Generalistas
Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies
May 1, 2026
Autores: Yi Wang, Xinchen Li, Pengwei Xie, Pu Yang, Buqing Nie, Yunuo Cai, Qinglin Zhang, Chendi Qu, Jeffrey Wu, Jianheng Song, Xinlin Ren, Jingshun Huang, Mingjie Pan, Siyuan Feng, Zhi Chen, Jianlan Luo
cs.AI
Resumen
Las políticas de robots generalistas se benefician cada vez más del preentrenamiento a gran escala, pero los datos fuera de línea por sí solos son insuficientes para un despliegue robusto en el mundo real. Los robots desplegados encuentran cambios de distribución, fallos de cola larga, variaciones de tareas y oportunidades de corrección humana que los conjuntos de datos de demostración fijos no pueden capturar completamente. Presentamos Aprendizaje Durante el Despliegue (LWD), un marco de aprendizaje por refuerzo fuera de línea a en línea a escala de flota para el post-entrenamiento continuo de políticas generalistas de Visión-Lenguaje-Acción (VLA). Partiendo de una política VLA preentrenada, LWD cierra el ciclo entre el despliegue, la experiencia física compartida, la mejora de la política y el redespliegue utilizando despliegues autónomos e intervenciones humanas recopiladas en una flota de robots. Para estabilizar el aprendizaje a partir de datos de flota heterogéneos y con recompensas dispersas, LWD combina el Aprendizaje de Valor Implícito Distribucional (DIVL) para una estimación robusta del valor con el Q-learning mediante Emparejamiento Adjunto (QAM) para la extracción de políticas en generadores de acción VLA basados en flujos. Validamos LWD en una flota de 16 robots de doble brazo a través de ocho tareas de manipulación del mundo real, incluyendo reabastecimiento semántico de comestibles y tareas de horizonte largo de 3 a 5 minutos. Una única política generalista mejora a medida que se acumula la experiencia de la flota, alcanzando una tasa de éxito promedio del 95%, con las mayores ganancias en tareas de horizonte largo.
English
Generalist robot policies increasingly benefit from large-scale pretraining, but offline data alone is insufficient for robust real-world deployment. Deployed robots encounter distribution shifts, long-tail failures, task variations, and human correction opportunities that fixed demonstration datasets cannot fully capture. We present Learning While Deploying (LWD), a fleet-scale offline-to-online reinforcement learning framework for continual post-training of generalist Vision-Language-Action (VLA) policies. Starting from a pretrained VLA policy, LWD closes the loop between deployment, shared physical experience, policy improvement, and redeployment by using autonomous rollouts and human interventions collected across a robot fleet. To stabilize learning from heterogeneous, sparse-reward fleet data, LWD combines Distributional Implicit Value Learning (DIVL) for robust value estimation with Q-learning via Adjoint Matching (QAM) for policy extraction in flow-based VLA action generators. We validate LWD on a fleet of 16 dual-arm robots across eight real-world manipulation tasks, including semantic grocery restocking and 3--5 minute long-horizon tasks. A single generalist policy improves as fleet experience accumulates, reaching an average success rate of 95%, with the largest gains on long-horizon tasks.