RoboPocket: Verbessern Sie Robotik-Politiken sofort mit Ihrem Telefon
RoboPocket: Improve Robot Policies Instantly with Your Phone
March 5, 2026
Autoren: Junjie Fang, Wendi Chen, Han Xue, Fangyuan Zhou, Tian Le, Yi Wang, Yuting Zhang, Jun Lv, Chuan Wen, Cewu Lu
cs.AI
Zusammenfassung
Die Skalierung von Imitationslernen ist grundsätzlich durch die Effizienz der Datenerfassung begrenzt. Obwohl Handheld-Schnittstellen als skalierbare Lösung für die Datenerfassung in unkontrollierten Umgebungen aufgetaucht sind, arbeiten sie überwiegend open-loop: Operatoren erfassen Demonstrationen blind, ohne die Schwachstellen der zugrundeliegenden Policy zu kennen, was zu einer ineffizienten Abdeckung kritischer Zustandsverteilungen führt. Im Gegensatz dazu adressieren interaktive Methoden wie DAgger den Kovariaten-Shift effektiv, setzen jedoch auf die physische Ausführung durch den Roboter, die kostspielig und schwer zu skalieren ist. Um diesen Zielkonflikt zu lösen, stellen wir RoboPocket vor, ein portables System, das roboterfreie sofortige Policy-Iteration mit einzelnen Consumer-Smartphones ermöglicht. Seine Kerninnovation ist ein Remote-Inference-Framework, das die vorhergesagte Trajektorie der Policy mittels Augmented Reality (AR) Visual Foresight darstellt. Dieses immersive Feedback ermöglicht es Datensammlern, potenzielle Fehler proaktiv zu identifizieren und die Datenerfassung auf die Schwachstellen der Policy zu fokussieren, ohne einen physischen Roboter zu benötigen. Darüber hinaus implementieren wir eine asynchrone Online-Finetuning-Pipeline, die die Policy kontinuierlich mit eingehenden Daten aktualisiert und so den Lernloop innerhalb von Minuten schließt. Umfangreiche Experimente zeigen, dass RoboPocket den Datenskalerungsgesetzen folgt und die Dateneffizienz im Vergleich zu Offline-Skalierungsstrategien verdoppelt, wodurch ihr langjähriger Effizienzengpass überwunden wird. Darüber hinaus steigert unser sofortiger Iterationsloop auch die Stichprobeneffizienz in verteilten Umgebungen um bis zum 2-fachen bei einer geringen Anzahl interaktiver Korrekturen pro Person. Projektseite und Videos: https://robo-pocket.github.io.
English
Scaling imitation learning is fundamentally constrained by the efficiency of data collection. While handheld interfaces have emerged as a scalable solution for in-the-wild data acquisition, they predominantly operate in an open-loop manner: operators blindly collect demonstrations without knowing the underlying policy's weaknesses, leading to inefficient coverage of critical state distributions. Conversely, interactive methods like DAgger effectively address covariate shift but rely on physical robot execution, which is costly and difficult to scale. To reconcile this trade-off, we introduce RoboPocket, a portable system that enables Robot-Free Instant Policy Iteration using single consumer smartphones. Its core innovation is a Remote Inference framework that visualizes the policy's predicted trajectory via Augmented Reality (AR) Visual Foresight. This immersive feedback allows collectors to proactively identify potential failures and focus data collection on the policy's weak regions without requiring a physical robot. Furthermore, we implement an asynchronous Online Finetuning pipeline that continuously updates the policy with incoming data, effectively closing the learning loop in minutes. Extensive experiments demonstrate that RoboPocket adheres to data scaling laws and doubles the data efficiency compared to offline scaling strategies, overcoming their long-standing efficiency bottleneck. Moreover, our instant iteration loop also boosts sample efficiency by up to 2times in distributed environments a small number of interactive corrections per person. Project page and videos: https://robo-pocket.github.io.