LLaRA: Beschleunigung des Lernens von Robotern durch Daten für Vision-Language-Policies

LLaRA: Supercharging Robot Learning Data for Vision-Language Policy

June 28, 2024

Autoren: Xiang Li, Cristina Mata, Jongwoo Park, Kumara Kahatapitiya, Yoo Sung Jang, Jinghuan Shang, Kanchana Ranasinghe, Ryan Burgert, Mu Cai, Yong Jae Lee, Michael S. Ryoo

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) mit umfangreichem Weltwissen und starken Argumentationsfähigkeiten können vielfältige Aufgaben in verschiedenen Bereichen bewältigen, oft indem sie sie als Konversationsanweisungs-Antwort-Paare darstellen. In diesem Papier schlagen wir LLaRA vor: Large Language and Robotics Assistant, ein Framework, das die Handlungsrichtlinie des Roboters als Gespräche formuliert und verbesserte Antworten liefert, wenn es mit Hilfsdaten trainiert wird, die das Richtlinienlernen ergänzen. LLMs mit visuellen Eingaben, d.h. Vision Language Models (VLMs), haben die Fähigkeit, Zustandsinformationen als visuell-textuelle Hinweise zu verarbeiten und optimale Richtlinienentscheidungen im Text zu generieren. Um solche Handlungsrichtlinien-VLMs zu trainieren, führen wir zunächst eine automatisierte Pipeline ein, um vielfältige hochwertige Robotik-Anweisungsdaten aus vorhandenen Verhaltensklonungsdaten zu generieren. Ein mit der resultierenden Sammlung von Datensätzen feinabgestimmter VLM, basierend auf einer Konversationsformulierung, die auf Robotikaufgaben zugeschnitten ist, kann sinnvolle Robotik-Handlungsrichtlinienentscheidungen generieren. Unsere Experimente in mehreren simulierten und realen Umgebungen zeigen die Leistungsfähigkeit des vorgeschlagenen LLaRA-Frameworks auf dem neuesten Stand der Technik. Der Code, die Datensätze und die vorab trainierten Modelle sind verfügbar unter https://github.com/LostXine/LLaRA.

English

Large Language Models (LLMs) equipped with extensive world knowledge and strong reasoning skills can tackle diverse tasks across domains, often by posing them as conversation-style instruction-response pairs. In this paper, we propose LLaRA: Large Language and Robotics Assistant, a framework which formulates robot action policy as conversations, and provides improved responses when trained with auxiliary data that complements policy learning. LLMs with visual inputs, i.e., Vision Language Models (VLMs), have the capacity to process state information as visual-textual prompts and generate optimal policy decisions in text. To train such action policy VLMs, we first introduce an automated pipeline to generate diverse high-quality robotics instruction data from existing behavior cloning data. A VLM finetuned with the resulting collection of datasets based on a conversation-style formulation tailored for robotics tasks, can generate meaningful robot action policy decisions. Our experiments across multiple simulated and real-world environments demonstrate the state-of-the-art performance of the proposed LLaRA framework. The code, datasets, and pretrained models are available at https://github.com/LostXine/LLaRA.