LLaRA: Ускорение обучения роботов с использованием данных для визуально-языковой политики

LLaRA: Supercharging Robot Learning Data for Vision-Language Policy

June 28, 2024

Авторы: Xiang Li, Cristina Mata, Jongwoo Park, Kumara Kahatapitiya, Yoo Sung Jang, Jinghuan Shang, Kanchana Ranasinghe, Ryan Burgert, Mu Cai, Yong Jae Lee, Michael S. Ryoo

cs.AI

Аннотация

Большие языковые модели (LLM), оснащенные обширными знаниями о мире и сильными навыками рассуждения, могут решать разнообразные задачи в различных областях, часто формулируя их в виде пар инструкция-ответ в стиле разговора. В данной статье мы предлагаем LLaRA: Большой языковый и робототехнический ассистент, фреймворк, который формулирует политику действий робота как разговоры и обеспечивает улучшенные ответы при обучении с вспомогательными данными, дополняющими обучение политики. LLM с визуальными входами, то есть моделирование языка и зрения (VLM), имеют возможность обрабатывать информацию о состоянии в виде визуально-текстовых подсказок и генерировать оптимальные решения политики в текстовом формате. Для обучения таких политик действий VLM мы сначала представляем автоматизированный конвейер для генерации разнообразных высококачественных данных по инструкциям для робототехники из существующих данных клонирования поведения. VLM, донастроенная с использованием полученной коллекции наборов данных на основе формулировки в стиле разговора, адаптированной для задач робототехники, может генерировать осмысленные решения политики действий робота. Наши эксперименты в нескольких симулированных и реальных средах демонстрируют передовую производительность предложенного фреймворка LLaRA. Код, наборы данных и предварительно обученные модели доступны по адресу https://github.com/LostXine/LLaRA.

English

Large Language Models (LLMs) equipped with extensive world knowledge and strong reasoning skills can tackle diverse tasks across domains, often by posing them as conversation-style instruction-response pairs. In this paper, we propose LLaRA: Large Language and Robotics Assistant, a framework which formulates robot action policy as conversations, and provides improved responses when trained with auxiliary data that complements policy learning. LLMs with visual inputs, i.e., Vision Language Models (VLMs), have the capacity to process state information as visual-textual prompts and generate optimal policy decisions in text. To train such action policy VLMs, we first introduce an automated pipeline to generate diverse high-quality robotics instruction data from existing behavior cloning data. A VLM finetuned with the resulting collection of datasets based on a conversation-style formulation tailored for robotics tasks, can generate meaningful robot action policy decisions. Our experiments across multiple simulated and real-world environments demonstrate the state-of-the-art performance of the proposed LLaRA framework. The code, datasets, and pretrained models are available at https://github.com/LostXine/LLaRA.