PEEK: Leitende und minimale Bilddarstellungen für die Null-Shot-Generalisierung von Roboter-Manipulationsstrategien

PEEK: Guiding and Minimal Image Representations for Zero-Shot Generalization of Robot Manipulation Policies

September 22, 2025

papers.authors: Jesse Zhang, Marius Memmel, Kevin Kim, Dieter Fox, Jesse Thomason, Fabio Ramos, Erdem Bıyık, Abhishek Gupta, Anqi Li

cs.AI

papers.abstract

Roboter-Manipulationsstrategien scheitern oft an der Generalisierung, da sie gleichzeitig lernen müssen, worauf sie achten sollen, welche Aktionen sie ausführen sollen und wie sie diese ausführen sollen. Wir argumentieren, dass hochrangige Überlegungen darüber, wo und was zu tun ist, an Vision-Sprach-Modelle (VLMs) ausgelagert werden können, wodurch die Strategien darauf spezialisiert werden, wie sie handeln sollen. Wir präsentieren PEEK (Policy-agnostic Extraction of Essential Keypoints), das VLMs feinabstimmt, um eine einheitliche punktbasierte Zwischendarstellung vorherzusagen: 1. Endeffektor-Pfade, die angeben, welche Aktionen ausgeführt werden sollen, und 2. aufgabenrelevante Masken, die angeben, wo der Fokus liegen soll. Diese Annotationen werden direkt auf Roboterbeobachtungen überlagert, wodurch die Darstellung strategieunabhängig und übertragbar über verschiedene Architekturen hinweg wird. Um skalierbares Training zu ermöglichen, führen wir eine automatische Annotationspipeline ein, die beschriftete Daten über 20+ Roboterdatensätze hinweg erzeugt, die 9 verschiedene Ausführungen umfassen. In realen Evaluierungen verbessert PEEK durchweg die Null-Shot-Generalisierung, einschließlich einer 41,4-fachen Verbesserung in der realen Welt für eine 3D-Strategie, die nur in der Simulation trainiert wurde, sowie 2-3,5-fache Gewinne sowohl für große VLAs als auch für kleine Manipulationsstrategien. Indem VLMs die semantische und visuelle Komplexität übernehmen, stattet PEEK Manipulationsstrategien mit den minimalen Hinweisen aus, die sie benötigen – wo, was und wie. Website unter https://peek-robot.github.io/.

English

Robotic manipulation policies often fail to generalize because they must simultaneously learn where to attend, what actions to take, and how to execute them. We argue that high-level reasoning about where and what can be offloaded to vision-language models (VLMs), leaving policies to specialize in how to act. We present PEEK (Policy-agnostic Extraction of Essential Keypoints), which fine-tunes VLMs to predict a unified point-based intermediate representation: 1. end-effector paths specifying what actions to take, and 2. task-relevant masks indicating where to focus. These annotations are directly overlaid onto robot observations, making the representation policy-agnostic and transferable across architectures. To enable scalable training, we introduce an automatic annotation pipeline, generating labeled data across 20+ robot datasets spanning 9 embodiments. In real-world evaluations, PEEK consistently boosts zero-shot generalization, including a 41.4x real-world improvement for a 3D policy trained only in simulation, and 2-3.5x gains for both large VLAs and small manipulation policies. By letting VLMs absorb semantic and visual complexity, PEEK equips manipulation policies with the minimal cues they need--where, what, and how. Website at https://peek-robot.github.io/.