LLaRA: Potenciando los Datos de Aprendizaje de Robots para Políticas de Visión-Lenguaje

LLaRA: Supercharging Robot Learning Data for Vision-Language Policy

June 28, 2024

Autores: Xiang Li, Cristina Mata, Jongwoo Park, Kumara Kahatapitiya, Yoo Sung Jang, Jinghuan Shang, Kanchana Ranasinghe, Ryan Burgert, Mu Cai, Yong Jae Lee, Michael S. Ryoo

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) equipados con un amplio conocimiento del mundo y habilidades sólidas de razonamiento pueden abordar diversas tareas en múltiples dominios, a menudo planteándolas como pares de instrucción-respuesta en formato conversacional. En este artículo, proponemos LLaRA: Asistente de Lenguaje y Robótica de Gran Escala, un marco que formula la política de acción del robot como conversaciones y proporciona respuestas mejoradas cuando se entrena con datos auxiliares que complementan el aprendizaje de políticas. Los LLMs con entradas visuales, es decir, los Modelos de Lenguaje Visual (VLMs, por sus siglas en inglés), tienen la capacidad de procesar información de estado como indicaciones visuales-textuales y generar decisiones de política óptimas en texto. Para entrenar tales VLMs de política de acción, primero introducimos una canalización automatizada para generar datos de instrucción robótica diversos y de alta calidad a partir de datos existentes de clonación de comportamiento. Un VLM ajustado con la colección resultante de conjuntos de datos, basado en una formulación en estilo conversacional adaptada para tareas de robótica, puede generar decisiones de política de acción del robot significativas. Nuestros experimentos en múltiples entornos simulados y del mundo real demuestran el rendimiento de vanguardia del marco LLaRA propuesto. El código, conjuntos de datos y modelos preentrenados están disponibles en https://github.com/LostXine/LLaRA.

English

Large Language Models (LLMs) equipped with extensive world knowledge and strong reasoning skills can tackle diverse tasks across domains, often by posing them as conversation-style instruction-response pairs. In this paper, we propose LLaRA: Large Language and Robotics Assistant, a framework which formulates robot action policy as conversations, and provides improved responses when trained with auxiliary data that complements policy learning. LLMs with visual inputs, i.e., Vision Language Models (VLMs), have the capacity to process state information as visual-textual prompts and generate optimal policy decisions in text. To train such action policy VLMs, we first introduce an automated pipeline to generate diverse high-quality robotics instruction data from existing behavior cloning data. A VLM finetuned with the resulting collection of datasets based on a conversation-style formulation tailored for robotics tasks, can generate meaningful robot action policy decisions. Our experiments across multiple simulated and real-world environments demonstrate the state-of-the-art performance of the proposed LLaRA framework. The code, datasets, and pretrained models are available at https://github.com/LostXine/LLaRA.