PEEK : Représentations d'images guidées et minimales pour la généralisation zero-shot des politiques de manipulation robotique

PEEK: Guiding and Minimal Image Representations for Zero-Shot Generalization of Robot Manipulation Policies

September 22, 2025

papers.authors: Jesse Zhang, Marius Memmel, Kevin Kim, Dieter Fox, Jesse Thomason, Fabio Ramos, Erdem Bıyık, Abhishek Gupta, Anqi Li

cs.AI

papers.abstract

Les politiques de manipulation robotique échouent souvent à généraliser car elles doivent simultanément apprendre où se concentrer, quelles actions entreprendre et comment les exécuter. Nous soutenons que le raisonnement de haut niveau sur le "où" et le "quoi" peut être délégué à des modèles vision-langage (VLMs), permettant aux politiques de se spécialiser dans le "comment" agir. Nous présentons PEEK (Policy-agnostic Extraction of Essential Keypoints), qui affine les VLMs pour prédire une représentation intermédiaire unifiée basée sur des points : 1. des trajectoires d'effecteur final spécifiant les actions à entreprendre, et 2. des masques pertinents à la tâche indiquant où se concentrer. Ces annotations sont directement superposées aux observations du robot, rendant la représentation indépendante de la politique et transférable entre architectures. Pour permettre un entraînement scalable, nous introduisons un pipeline d'annotation automatique, générant des données étiquetées à partir de plus de 20 ensembles de données robotiques couvrant 9 configurations. Dans des évaluations en conditions réelles, PEEK améliore systématiquement la généralisation zero-shot, incluant une amélioration de 41,4x en conditions réelles pour une politique 3D entraînée uniquement en simulation, et des gains de 2 à 3,5x pour les grands VLAs ainsi que pour les petites politiques de manipulation. En permettant aux VLMs d'absorber la complexité sémantique et visuelle, PEEK équipe les politiques de manipulation des indices minimaux dont elles ont besoin—où, quoi et comment. Site web à l'adresse https://peek-robot.github.io/.

English

Robotic manipulation policies often fail to generalize because they must simultaneously learn where to attend, what actions to take, and how to execute them. We argue that high-level reasoning about where and what can be offloaded to vision-language models (VLMs), leaving policies to specialize in how to act. We present PEEK (Policy-agnostic Extraction of Essential Keypoints), which fine-tunes VLMs to predict a unified point-based intermediate representation: 1. end-effector paths specifying what actions to take, and 2. task-relevant masks indicating where to focus. These annotations are directly overlaid onto robot observations, making the representation policy-agnostic and transferable across architectures. To enable scalable training, we introduce an automatic annotation pipeline, generating labeled data across 20+ robot datasets spanning 9 embodiments. In real-world evaluations, PEEK consistently boosts zero-shot generalization, including a 41.4x real-world improvement for a 3D policy trained only in simulation, and 2-3.5x gains for both large VLAs and small manipulation policies. By letting VLMs absorb semantic and visual complexity, PEEK equips manipulation policies with the minimal cues they need--where, what, and how. Website at https://peek-robot.github.io/.