Apprendimento di imitazione in contesto tramite previsione del token successivo

Abstract

Esploriamo come migliorare i modelli di previsione del token successivo per eseguire l'apprendimento per imitazione in contesto su un vero robot, dove il robot esegue nuovi compiti interpretando le informazioni contestuali fornite durante la fase di input, senza aggiornare i suoi parametri di politica sottostanti. Proponiamo In-Context Robot Transformer (ICRT), un trasformatore causale che esegue previsioni autoregressive su traiettorie sensori-motorie senza fare affidamento su dati linguistici o funzioni di ricompensa. Questa formulazione consente l'esecuzione flessibile e priva di addestramento di nuovi compiti durante il test, ottenuta sollecitando il modello con traiettorie sensori-motorie del nuovo compito composte da osservazioni di immagini, azioni e tuple di stati, raccolte tramite teleoperazione umana. Gli esperimenti con un robot Franka Emika dimostrano che l'ICRT può adattarsi a nuovi compiti specificati dalle sollecitazioni, anche in configurazioni ambientali diverse sia dalla sollecitazione che dai dati di addestramento. In un ambiente multitasking, l'ICRT supera significativamente i modelli attuali di previsione del token successivo più avanzati nello stato dell'arte in robotica nella generalizzazione a compiti non visti. Codice, checkpoint e dati sono disponibili su https://icrt.dev/

English

We explore how to enhance next-token prediction models to perform in-context imitation learning on a real robot, where the robot executes new tasks by interpreting contextual information provided during the input phase, without updating its underlying policy parameters. We propose In-Context Robot Transformer (ICRT), a causal transformer that performs autoregressive prediction on sensorimotor trajectories without relying on any linguistic data or reward function. This formulation enables flexible and training-free execution of new tasks at test time, achieved by prompting the model with sensorimotor trajectories of the new task composing of image observations, actions and states tuples, collected through human teleoperation. Experiments with a Franka Emika robot demonstrate that the ICRT can adapt to new tasks specified by prompts, even in environment configurations that differ from both the prompt and the training data. In a multitask environment setup, ICRT significantly outperforms current state-of-the-art next-token prediction models in robotics on generalizing to unseen tasks. Code, checkpoints and data are available on https://icrt.dev/

Apprendimento di imitazione in contesto tramite previsione del token successivo

In-Context Imitation Learning via Next-Token Prediction

Abstract

Support