Robo2VLM : Réponse à des questions visuelles à partir de larges ensembles de données de manipulation robotique en environnement réel

Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets

May 21, 2025

Auteurs: Kaiyuan Chen, Shuangyu Xie, Zehan Ma, Ken Goldberg

cs.AI

Résumé

Les modèles vision-langage (VLMs) acquièrent des connaissances du monde réel et des capacités de raisonnement général à travers des corpus d'images-textes à l'échelle d'Internet. Ils peuvent enrichir les systèmes robotiques avec une compréhension de scène et une planification de tâches, et assister les politiques visuomotrices entraînées sur des données de trajectoires robotiques. Nous explorons le paradigme inverse - utiliser des données riches, réelles et multimodales de trajectoires robotiques pour améliorer et évaluer les VLMs. Dans cet article, nous présentons Robo2VLM, un cadre de génération de jeux de données de Question-Réponse Visuelle (VQA) pour les VLMs. Étant donnée une trajectoire robotique téléopérée par un humain, Robo2VLM dérive la vérité terrain à partir de modalités sensorielles non visuelles et non descriptives, telles que la pose de l'effecteur terminal, l'ouverture de la pince et la détection de force. Sur la base de ces modalités, il segmente la trajectoire robotique en une séquence de phases de manipulation. À chaque phase, Robo2VLM utilise la compréhension de la scène et des interactions pour identifier les propriétés 3D du robot, l'objectif de la tâche et l'objet cible. Ces propriétés sont utilisées pour générer des requêtes VQA représentatives - des images avec des questions à choix multiples textuelles - basées sur des modèles de questions de raisonnement spatial, conditionné par l'objectif et d'interaction. Nous avons constitué Robo2VLM-1, un jeu de données à grande échelle en conditions réelles avec 684 710 questions couvrant 463 scènes distinctes et 3 396 tâches de manipulation robotique issues de 176k trajectoires robotiques réelles. Les résultats suggèrent que Robo2VLM-1 peut évaluer et améliorer les capacités des VLMs en matière de raisonnement spatial et d'interaction.

English

Vision-Language Models (VLMs) acquire real-world knowledge and general reasoning ability through Internet-scale image-text corpora. They can augment robotic systems with scene understanding and task planning, and assist visuomotor policies that are trained on robot trajectory data. We explore the reverse paradigm - using rich, real, multi-modal robot trajectory data to enhance and evaluate VLMs. In this paper, we present Robo2VLM, a Visual Question Answering (VQA) dataset generation framework for VLMs. Given a human tele-operated robot trajectory, Robo2VLM derives ground-truth from non-visual and non-descriptive sensory modalities, such as end-effector pose, gripper aperture, and force sensing. Based on these modalities, it segments the robot trajectory into a sequence of manipulation phases. At each phase, Robo2VLM uses scene and interaction understanding to identify 3D properties of the robot, task goal, and the target object. The properties are used to generate representative VQA queries - images with textural multiple-choice questions - based on spatial, goal-conditioned, and interaction reasoning question templates. We curate Robo2VLM-1, a large-scale in-the-wild dataset with 684,710 questions covering 463 distinct scenes and 3,396 robotic manipulation tasks from 176k real robot trajectories. Results suggest that Robo2VLM-1 can benchmark and improve VLM capabilities in spatial and interaction reasoning.