다음 토큰 예측을 통한 맥락 내 모방 학습

초록

우리는 실제 로봇에서 인-컨텍스트 모방 학습을 수행하기 위해 다음 토큰 예측 모델을 향상하는 방법을 탐구합니다. 여기서 로봇은 입력 단계 중 제공된 문맥 정보를 해석하여 기본 정책 매개변수를 업데이트하지 않고 새로운 작업을 실행합니다. 우리는 언어 데이터나 보상 함수에 의존하지 않고 센서모터 궤적에 대해 자기회귀 예측을 수행하는 인-컨텍스트 로봇 트랜스포머(ICRT)를 제안합니다. 이 정의는 새로운 작업의 센서모터 궤적으로 모델을 프롬프팅하여 테스트 시 유연하고 훈련이 필요 없는 실행을 가능하게 합니다. 이 궤적은 이미지 관측, 동작 및 상태 튜플로 구성된 새로운 작업의 센서모터 궤적을 인간 원격 조작을 통해 수집합니다. Franka Emika 로봇을 사용한 실험 결과, ICRT는 프롬프트로 지정된 새로운 작업에 적응할 수 있으며, 훈련 데이터와 프롬프트 모두와 다른 환경 구성에서도 작동합니다. 멀티태스크 환경 설정에서 ICRT는 보이지 않는 작업에 대한 일반화에서 로봇학 분야의 최신 다음 토큰 예측 모델을 현저히 능가합니다. 코드, 체크포인트 및 데이터는 https://icrt.dev/에서 제공됩니다.

English

We explore how to enhance next-token prediction models to perform in-context imitation learning on a real robot, where the robot executes new tasks by interpreting contextual information provided during the input phase, without updating its underlying policy parameters. We propose In-Context Robot Transformer (ICRT), a causal transformer that performs autoregressive prediction on sensorimotor trajectories without relying on any linguistic data or reward function. This formulation enables flexible and training-free execution of new tasks at test time, achieved by prompting the model with sensorimotor trajectories of the new task composing of image observations, actions and states tuples, collected through human teleoperation. Experiments with a Franka Emika robot demonstrate that the ICRT can adapt to new tasks specified by prompts, even in environment configurations that differ from both the prompt and the training data. In a multitask environment setup, ICRT significantly outperforms current state-of-the-art next-token prediction models in robotics on generalizing to unseen tasks. Code, checkpoints and data are available on https://icrt.dev/

다음 토큰 예측을 통한 맥락 내 모방 학습

In-Context Imitation Learning via Next-Token Prediction

초록

Summary

Support

Support