RoboPocket : Améliorez instantanément les politiques robotiques avec votre téléphone
RoboPocket: Improve Robot Policies Instantly with Your Phone
March 5, 2026
Auteurs: Junjie Fang, Wendi Chen, Han Xue, Fangyuan Zhou, Tian Le, Yi Wang, Yuting Zhang, Jun Lv, Chuan Wen, Cewu Lu
cs.AI
Résumé
L'expansion de l'apprentissage par imitation est fondamentalement limitée par l'efficacité de la collecte des données. Bien que les interfaces portables soient apparues comme une solution évolutive pour l'acquisition de données en conditions réelles, elles fonctionnent principalement en boucle ouverte : les opérateurs collectent des démonstrations de manière aveugle sans connaître les faiblesses de la politique sous-jacente, ce qui entraîne une couverture inefficace des distributions d'états critiques. À l'inverse, des méthodes interactives comme DAgger abordent efficacement le décalage covariable mais reposent sur l'exécution physique du robot, ce qui est coûteux et difficile à mettre à l'échelle. Pour concilier ce compromis, nous présentons RoboPocket, un système portable qui permet une Itération de Politique Instantanée Sans Robot en utilisant un simple smartphone grand public. Son innovation principale est un cadre d'Inférence à Distance qui visualise la trajectoire prédite par la politique via une Prévision Visuelle en Réalité Augmentée (RA). Ce retour immersif permet aux collecteurs d'identifier proactivement les défaillances potentielles et de concentrer la collecte de données sur les zones de faiblesse de la politique, sans nécessiter de robot physique. De plus, nous mettons en œuvre un pipeline de Mise à Jour Asynchrone en Ligne qui met continuellement à jour la politique avec les données entrantes, refermant efficacement la boucle d'apprentissage en quelques minutes. Des expériences approfondies démontrent que RoboPocket respecte les lois d'échelle des données et double l'efficacité de celles-ci par rapport aux stratégies d'expansion hors ligne, surmontant leur goulot d'étranglement d'efficacité de longue date. Par ailleurs, notre boucle d'itération instantanée améliore également l'efficacité de l'échantillonnage jusqu'à 2 fois dans des environnements distribués avec un petit nombre de corrections interactives par personne. Page du projet et vidéos : https://robo-pocket.github.io.
English
Scaling imitation learning is fundamentally constrained by the efficiency of data collection. While handheld interfaces have emerged as a scalable solution for in-the-wild data acquisition, they predominantly operate in an open-loop manner: operators blindly collect demonstrations without knowing the underlying policy's weaknesses, leading to inefficient coverage of critical state distributions. Conversely, interactive methods like DAgger effectively address covariate shift but rely on physical robot execution, which is costly and difficult to scale. To reconcile this trade-off, we introduce RoboPocket, a portable system that enables Robot-Free Instant Policy Iteration using single consumer smartphones. Its core innovation is a Remote Inference framework that visualizes the policy's predicted trajectory via Augmented Reality (AR) Visual Foresight. This immersive feedback allows collectors to proactively identify potential failures and focus data collection on the policy's weak regions without requiring a physical robot. Furthermore, we implement an asynchronous Online Finetuning pipeline that continuously updates the policy with incoming data, effectively closing the learning loop in minutes. Extensive experiments demonstrate that RoboPocket adheres to data scaling laws and doubles the data efficiency compared to offline scaling strategies, overcoming their long-standing efficiency bottleneck. Moreover, our instant iteration loop also boosts sample efficiency by up to 2times in distributed environments a small number of interactive corrections per person. Project page and videos: https://robo-pocket.github.io.