LLaRA : Amélioration des données d'apprentissage robotique pour les politiques vision-langage

LLaRA: Supercharging Robot Learning Data for Vision-Language Policy

June 28, 2024

Auteurs: Xiang Li, Cristina Mata, Jongwoo Park, Kumara Kahatapitiya, Yoo Sung Jang, Jinghuan Shang, Kanchana Ranasinghe, Ryan Burgert, Mu Cai, Yong Jae Lee, Michael S. Ryoo

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs), dotés d'une vaste connaissance du monde et de solides compétences en raisonnement, peuvent aborder des tâches variées dans différents domaines, souvent en les formulant sous forme de paires instruction-réponse de type conversationnel. Dans cet article, nous proposons LLaRA : Large Language and Robotics Assistant, un cadre qui formule la politique d'action des robots sous forme de conversations et fournit des réponses améliorées lorsqu'il est entraîné avec des données auxiliaires qui complètent l'apprentissage des politiques. Les LLMs avec entrées visuelles, c'est-à-dire les modèles de langage visuel (VLMs), ont la capacité de traiter les informations d'état sous forme d'invites visuelles-textuelles et de générer des décisions de politique optimales en texte. Pour entraîner de tels VLMs de politique d'action, nous introduisons d'abord un pipeline automatisé pour générer des données d'instruction robotique diversifiées et de haute qualité à partir de données existantes de clonage comportemental. Un VLM affiné avec la collection résultante de jeux de données, basée sur une formulation de type conversationnel adaptée aux tâches robotiques, peut générer des décisions de politique d'action robotique significatives. Nos expériences dans plusieurs environnements simulés et réels démontrent les performances de pointe du cadre LLaRA proposé. Le code, les jeux de données et les modèles pré-entraînés sont disponibles à l'adresse https://github.com/LostXine/LLaRA.

English

Large Language Models (LLMs) equipped with extensive world knowledge and strong reasoning skills can tackle diverse tasks across domains, often by posing them as conversation-style instruction-response pairs. In this paper, we propose LLaRA: Large Language and Robotics Assistant, a framework which formulates robot action policy as conversations, and provides improved responses when trained with auxiliary data that complements policy learning. LLMs with visual inputs, i.e., Vision Language Models (VLMs), have the capacity to process state information as visual-textual prompts and generate optimal policy decisions in text. To train such action policy VLMs, we first introduce an automated pipeline to generate diverse high-quality robotics instruction data from existing behavior cloning data. A VLM finetuned with the resulting collection of datasets based on a conversation-style formulation tailored for robotics tasks, can generate meaningful robot action policy decisions. Our experiments across multiple simulated and real-world environments demonstrate the state-of-the-art performance of the proposed LLaRA framework. The code, datasets, and pretrained models are available at https://github.com/LostXine/LLaRA.