RoboPocket: Migliora le Politiche Robotiche Istantaneamente con il Tuo Telefono
RoboPocket: Improve Robot Policies Instantly with Your Phone
March 5, 2026
Autori: Junjie Fang, Wendi Chen, Han Xue, Fangyuan Zhou, Tian Le, Yi Wang, Yuting Zhang, Jun Lv, Chuan Wen, Cewu Lu
cs.AI
Abstract
La scalabilità dell'apprendimento per imitazione è fondamentalmente limitata dall'efficienza della raccolta dei dati. Sebbene le interfacce portatili siano emerse come una soluzione scalabile per l'acquisizione di dati in contesti reali, esse operano prevalentemente in modalità ad anello aperto: gli operatori raccolgono dimostrazioni in modo cieco, senza conoscere le debolezze della politica sottostante, portando a una copertura inefficiente delle distribuzioni di stati critici. Al contrario, metodi interattivi come DAgger affrontano efficacemente il *covariate shift* ma si basano sull'esecuzione fisica del robot, che è costosa e difficile da scalare.
Per conciliare questo compromesso, introduciamo RoboPocket, un sistema portatile che abilita l'Iterazione Istantanea della Politica Senza Robot utilizzando singoli smartphone consumer. La sua innovazione principale è un framework di Inferenza Remota che visualizza la traiettoria predetta dalla politica tramite Previsione Visiva in Realtà Aumentata (AR). Questo feedback immersivo consente ai raccoglitori di identificare proattivamente i potenziali fallimenti e concentrare la raccolta dati sulle regioni deboli della politica, senza richiedere un robot fisico.
Inoltre, implementiamo una pipeline asincrona di Affinamento Online che aggiorna continuamente la politica con i dati in arrivo, chiudendo efficacemente l'anello di apprendimento in pochi minuti. Esperimenti estensivi dimostrano che RoboPocket rispetta le leggi di scala dei dati e raddoppia l'efficienza dei dati rispetto alle strategie di scalabilità offline, superando il loro collo di bottiglia di efficienza di lunga data. Inoltre, il nostro ciclo di iterazione istantanea aumenta l'efficienza del campionamento fino a 2 volte in ambienti distribuiti con un piccolo numero di correzioni interattive per persona. Pagina del progetto e video: https://robo-pocket.github.io.
English
Scaling imitation learning is fundamentally constrained by the efficiency of data collection. While handheld interfaces have emerged as a scalable solution for in-the-wild data acquisition, they predominantly operate in an open-loop manner: operators blindly collect demonstrations without knowing the underlying policy's weaknesses, leading to inefficient coverage of critical state distributions. Conversely, interactive methods like DAgger effectively address covariate shift but rely on physical robot execution, which is costly and difficult to scale. To reconcile this trade-off, we introduce RoboPocket, a portable system that enables Robot-Free Instant Policy Iteration using single consumer smartphones. Its core innovation is a Remote Inference framework that visualizes the policy's predicted trajectory via Augmented Reality (AR) Visual Foresight. This immersive feedback allows collectors to proactively identify potential failures and focus data collection on the policy's weak regions without requiring a physical robot. Furthermore, we implement an asynchronous Online Finetuning pipeline that continuously updates the policy with incoming data, effectively closing the learning loop in minutes. Extensive experiments demonstrate that RoboPocket adheres to data scaling laws and doubles the data efficiency compared to offline scaling strategies, overcoming their long-standing efficiency bottleneck. Moreover, our instant iteration loop also boosts sample efficiency by up to 2times in distributed environments a small number of interactive corrections per person. Project page and videos: https://robo-pocket.github.io.