RoboPocket: Mejora las Políticas de tu Robot al Instante con tu Teléfono
RoboPocket: Improve Robot Policies Instantly with Your Phone
March 5, 2026
Autores: Junjie Fang, Wendi Chen, Han Xue, Fangyuan Zhou, Tian Le, Yi Wang, Yuting Zhang, Jun Lv, Chuan Wen, Cewu Lu
cs.AI
Resumen
La escalabilidad del aprendizaje por imitación está fundamentalmente limitada por la eficiencia de la recolección de datos. Si bien las interfaces portátiles han surgido como una solución escalable para la adquisición de datos en entornos reales, operan predominantemente de manera de lazo abierto: los operadores recogen demostraciones a ciegas sin conocer las debilidades de la política subyacente, lo que conduce a una cobertura ineficiente de las distribuciones de estados críticas. Por el contrario, métodos interactivos como DAgger abordan eficazmente el cambio covariable pero dependen de la ejecución física del robot, que es costosa y difícil de escalar. Para reconciliar esta disyuntiva, presentamos RoboPocket, un sistema portátil que permite la Iteración Instantánea de Políticas sin Robot utilizando únicamente smartphones comerciales. Su innovación central es un marco de Inferencia Remota que visualiza la trayectoria predicha por la política a través de la Previsión Visual con Realidad Aumentada (RA). Esta retroalimentación inmersiva permite a los recolectores identificar proactivamente fallos potenciales y centrar la recolección de datos en las regiones débiles de la política, sin requerir un robot físico. Además, implementamos un pipeline asíncrono de Ajuste Fino en Línea que actualiza continuamente la política con los datos entrantes, cerrando efectivamente el ciclo de aprendizaje en minutos. Experimentos exhaustivos demuestran que RoboPocket se ajusta a las leyes de escalado de datos y duplica la eficiencia de datos en comparación con las estrategias de escalado fuera de línea, superando su cuello de botella de eficiencia de larga data. Además, nuestro ciclo de iteración instantánea también mejora la eficiencia muestral hasta 2 veces en entornos distribuidos con un pequeño número de correcciones interactivas por persona. Página del proyecto y videos: https://robo-pocket.github.io.
English
Scaling imitation learning is fundamentally constrained by the efficiency of data collection. While handheld interfaces have emerged as a scalable solution for in-the-wild data acquisition, they predominantly operate in an open-loop manner: operators blindly collect demonstrations without knowing the underlying policy's weaknesses, leading to inefficient coverage of critical state distributions. Conversely, interactive methods like DAgger effectively address covariate shift but rely on physical robot execution, which is costly and difficult to scale. To reconcile this trade-off, we introduce RoboPocket, a portable system that enables Robot-Free Instant Policy Iteration using single consumer smartphones. Its core innovation is a Remote Inference framework that visualizes the policy's predicted trajectory via Augmented Reality (AR) Visual Foresight. This immersive feedback allows collectors to proactively identify potential failures and focus data collection on the policy's weak regions without requiring a physical robot. Furthermore, we implement an asynchronous Online Finetuning pipeline that continuously updates the policy with incoming data, effectively closing the learning loop in minutes. Extensive experiments demonstrate that RoboPocket adheres to data scaling laws and doubles the data efficiency compared to offline scaling strategies, overcoming their long-standing efficiency bottleneck. Moreover, our instant iteration loop also boosts sample efficiency by up to 2times in distributed environments a small number of interactive corrections per person. Project page and videos: https://robo-pocket.github.io.