LLaRA: Robotlerendata voor Visie-Taalbeleid een Boost Geven

LLaRA: Supercharging Robot Learning Data for Vision-Language Policy

June 28, 2024

Auteurs: Xiang Li, Cristina Mata, Jongwoo Park, Kumara Kahatapitiya, Yoo Sung Jang, Jinghuan Shang, Kanchana Ranasinghe, Ryan Burgert, Mu Cai, Yong Jae Lee, Michael S. Ryoo

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) die zijn uitgerust met uitgebreide wereldkennis en sterke redeneervaardigheden kunnen diverse taken in verschillende domeinen aanpakken, vaak door deze te formuleren als conversatie-achtige instructie-responsparen. In dit artikel stellen we LLaRA voor: Large Language and Robotics Assistant, een framework dat het actiebeleid van robots formuleert als conversaties en verbeterde reacties biedt wanneer het wordt getraind met aanvullende data die het beleidsleren aanvullen. LLM's met visuele invoer, d.w.z. Vision Language Models (VLM's), hebben de capaciteit om toestandsinformatie te verwerken als visueel-tekstuele prompts en optimale beleidsbeslissingen in tekst te genereren. Om dergelijke actiebeleid-VLM's te trainen, introduceren we eerst een geautomatiseerde pijplijn om diverse hoogwaardige robotica-instructiedata te genereren uit bestaande gedragsklooningsdata. Een VLM die is afgestemd op de resulterende verzameling datasets op basis van een conversatie-achtige formulering die is toegesneden op robotica-taken, kan zinvolle robotactiebeleidsbeslissingen genereren. Onze experimenten in meerdere gesimuleerde en real-world omgevingen demonstreren de state-of-the-art prestaties van het voorgestelde LLaRA-framework. De code, datasets en vooraf getrainde modellen zijn beschikbaar op https://github.com/LostXine/LLaRA.

English

Large Language Models (LLMs) equipped with extensive world knowledge and strong reasoning skills can tackle diverse tasks across domains, often by posing them as conversation-style instruction-response pairs. In this paper, we propose LLaRA: Large Language and Robotics Assistant, a framework which formulates robot action policy as conversations, and provides improved responses when trained with auxiliary data that complements policy learning. LLMs with visual inputs, i.e., Vision Language Models (VLMs), have the capacity to process state information as visual-textual prompts and generate optimal policy decisions in text. To train such action policy VLMs, we first introduce an automated pipeline to generate diverse high-quality robotics instruction data from existing behavior cloning data. A VLM finetuned with the resulting collection of datasets based on a conversation-style formulation tailored for robotics tasks, can generate meaningful robot action policy decisions. Our experiments across multiple simulated and real-world environments demonstrate the state-of-the-art performance of the proposed LLaRA framework. The code, datasets, and pretrained models are available at https://github.com/LostXine/LLaRA.