LLaRA: Potenziamento dei Dati per l'Apprendimento dei Robot nelle Politiche Visione-Linguaggio

LLaRA: Supercharging Robot Learning Data for Vision-Language Policy

June 28, 2024

Autori: Xiang Li, Cristina Mata, Jongwoo Park, Kumara Kahatapitiya, Yoo Sung Jang, Jinghuan Shang, Kanchana Ranasinghe, Ryan Burgert, Mu Cai, Yong Jae Lee, Michael S. Ryoo

cs.AI

Abstract

I Large Language Models (LLMs), dotati di un'ampia conoscenza del mondo e di forti capacità di ragionamento, possono affrontare compiti diversificati in vari domini, spesso formulandoli come coppie istruzione-risposta in stile conversazionale. In questo articolo, proponiamo LLaRA: Large Language and Robotics Assistant, un framework che formula la politica d'azione del robot come conversazioni e fornisce risposte migliorate quando addestrato con dati ausiliari che completano l'apprendimento della politica. I LLMs con input visivi, ovvero i Vision Language Models (VLMs), hanno la capacità di elaborare informazioni sullo stato come prompt visivo-testuali e generare decisioni politiche ottimali in formato testuale. Per addestrare tali VLMs per la politica d'azione, introduciamo prima una pipeline automatizzata per generare dati di istruzione robotica diversificati e di alta qualità a partire da dati esistenti di clonazione comportamentale. Un VLM affinato con la raccolta risultante di dataset, basata su una formulazione in stile conversazionale adattata per compiti robotici, può generare decisioni significative per la politica d'azione del robot. I nostri esperimenti in ambienti simulati e reali dimostrano le prestazioni all'avanguardia del framework LLaRA proposto. Il codice, i dataset e i modelli pre-addestrati sono disponibili su https://github.com/LostXine/LLaRA.

English

Large Language Models (LLMs) equipped with extensive world knowledge and strong reasoning skills can tackle diverse tasks across domains, often by posing them as conversation-style instruction-response pairs. In this paper, we propose LLaRA: Large Language and Robotics Assistant, a framework which formulates robot action policy as conversations, and provides improved responses when trained with auxiliary data that complements policy learning. LLMs with visual inputs, i.e., Vision Language Models (VLMs), have the capacity to process state information as visual-textual prompts and generate optimal policy decisions in text. To train such action policy VLMs, we first introduce an automated pipeline to generate diverse high-quality robotics instruction data from existing behavior cloning data. A VLM finetuned with the resulting collection of datasets based on a conversation-style formulation tailored for robotics tasks, can generate meaningful robot action policy decisions. Our experiments across multiple simulated and real-world environments demonstrate the state-of-the-art performance of the proposed LLaRA framework. The code, datasets, and pretrained models are available at https://github.com/LostXine/LLaRA.