구체화된 작업을 위한 일반화 가능한 정책으로서의 대형 언어 모델

초록

우리는 대규모 언어 모델(LLM)이 구체화된 시각적 작업을 위한 일반화 가능한 정책으로 적응될 수 있음을 보여줍니다. 우리의 접근 방식인 Large LAnguage model Reinforcement Learning Policy(LLaRP)는 사전 훈련된 고정된 LLM을 적응시켜 텍스트 지시와 시각적 자기 중심적 관찰을 입력으로 받아 환경 내에서 직접 행동을 출력하도록 합니다. 강화 학습을 사용하여 LLaRP가 환경 상호작용을 통해서만 보고 행동하도록 훈련시킵니다. 우리는 LLaRP가 작업 지시의 복잡한 패러프레이징에 강건하며, 새로운 최적의 행동이 필요한 새로운 작업으로 일반화할 수 있음을 보여줍니다. 특히, 1,000개의 보이지 않는 작업에서 42%의 성공률을 달성하며, 이는 다른 일반적인 학습된 베이스라인이나 LLM의 제로샷 응용보다 1.7배 높은 성공률입니다. 마지막으로, 언어 조건화된 대규모 다중 작업 구체화 AI 문제를 연구하는 커뮤니티를 돕기 위해, 우리는 언어 조건화 재배치를 위한 150,000개의 훈련 작업과 1,000개의 테스트 작업으로 구성된 새로운 벤치마크인 Language Rearrangement를 공개합니다. 보이지 않는 Language Rearrangement 지시에서의 LLaRP 동영상 예제는 https://llm-rl.github.io에서 확인할 수 있습니다.

English

We show that large language models (LLMs) can be adapted to be generalizable policies for embodied visual tasks. Our approach, called Large LAnguage model Reinforcement Learning Policy (LLaRP), adapts a pre-trained frozen LLM to take as input text instructions and visual egocentric observations and output actions directly in the environment. Using reinforcement learning, we train LLaRP to see and act solely through environmental interactions. We show that LLaRP is robust to complex paraphrasings of task instructions and can generalize to new tasks that require novel optimal behavior. In particular, on 1,000 unseen tasks it achieves 42% success rate, 1.7x the success rate of other common learned baselines or zero-shot applications of LLMs. Finally, to aid the community in studying language conditioned, massively multi-task, embodied AI problems we release a novel benchmark, Language Rearrangement, consisting of 150,000 training and 1,000 testing tasks for language-conditioned rearrangement. Video examples of LLaRP in unseen Language Rearrangement instructions are at https://llm-rl.github.io.

구체화된 작업을 위한 일반화 가능한 정책으로서의 대형 언어 모델

Large Language Models as Generalizable Policies for Embodied Tasks

초록

Support