LLaRA: 비전-언어 정책을 위한 로봇 학습 데이터의 성능 극대화

초록

광범위한 세계 지식과 강력한 추론 능력을 갖춘 대형 언어 모델(LLMs)은 다양한 도메인에 걸친 과제를 대화 스타일의 지시-응답 쌍으로 제시함으로써 해결할 수 있습니다. 본 논문에서는 로봇 동작 정책을 대화로 공식화하고, 정책 학습을 보완하는 보조 데이터로 훈련할 때 개선된 응답을 제공하는 LLaRA: 대형 언어 및 로봇 보조 프레임워크를 제안합니다. 시각적 입력을 갖춘 LLMs, 즉 시각 언어 모델(VLMs)은 상태 정보를 시각-텍스트 프롬프트로 처리하고 텍스트로 최적의 정책 결정을 생성할 수 있는 능력을 가지고 있습니다. 이러한 동작 정책 VLMs을 훈련하기 위해, 우리는 먼저 기존의 행동 복제 데이터로부터 다양한 고품질 로봇 지시 데이터를 생성하는 자동화된 파이프라인을 소개합니다. 로봇 작업에 맞춤화된 대화 스타일 공식화를 기반으로 한 데이터셋 컬렉션으로 미세 조정된 VLM은 의미 있는 로봇 동작 정책 결정을 생성할 수 있습니다. 여러 시뮬레이션 및 실제 환경에서의 실험을 통해 제안된 LLaRA 프레임워크의 최첨단 성능을 입증합니다. 코드, 데이터셋 및 사전 훈련된 모델은 https://github.com/LostXine/LLaRA에서 확인할 수 있습니다.

English

Large Language Models (LLMs) equipped with extensive world knowledge and strong reasoning skills can tackle diverse tasks across domains, often by posing them as conversation-style instruction-response pairs. In this paper, we propose LLaRA: Large Language and Robotics Assistant, a framework which formulates robot action policy as conversations, and provides improved responses when trained with auxiliary data that complements policy learning. LLMs with visual inputs, i.e., Vision Language Models (VLMs), have the capacity to process state information as visual-textual prompts and generate optimal policy decisions in text. To train such action policy VLMs, we first introduce an automated pipeline to generate diverse high-quality robotics instruction data from existing behavior cloning data. A VLM finetuned with the resulting collection of datasets based on a conversation-style formulation tailored for robotics tasks, can generate meaningful robot action policy decisions. Our experiments across multiple simulated and real-world environments demonstrate the state-of-the-art performance of the proposed LLaRA framework. The code, datasets, and pretrained models are available at https://github.com/LostXine/LLaRA.

LLaRA: 비전-언어 정책을 위한 로봇 학습 데이터의 성능 극대화

LLaRA: Supercharging Robot Learning Data for Vision-Language Policy

초록

Summary

Support

Support