Imitationslernen im Kontext durch Vorhersage des nächsten Tokens.

In-Context Imitation Learning via Next-Token Prediction

August 28, 2024

Autoren: Letian Fu, Huang Huang, Gaurav Datta, Lawrence Yunliang Chen, William Chung-Ho Panitch, Fangchen Liu, Hui Li, Ken Goldberg

cs.AI

Zusammenfassung

Wir untersuchen, wie man die Vorhersagemodelle für das nächste Token verbessern kann, um im Kontext des Imitationslernens auf einem realen Roboter zu agieren, bei dem der Roboter neue Aufgaben ausführt, indem er kontextbezogene Informationen interpretiert, die während der Eingabephase bereitgestellt werden, ohne seine zugrunde liegenden Richtlinienparameter zu aktualisieren. Wir schlagen den In-Context Robot Transformer (ICRT) vor, einen kausalen Transformer, der autoregressive Vorhersagen über sensorische Bewegungsbahnen ohne Verwendung von sprachlichen Daten oder Belohnungsfunktionen durchführt. Diese Formulierung ermöglicht eine flexible und trainingsfreie Ausführung neuer Aufgaben zur Testzeit, die durch Aufforderung des Modells mit sensorischen Bewegungsbahnen der neuen Aufgabe erreicht wird, die aus Bildbeobachtungen, Aktionen und Zustandstupeln bestehen, die durch menschliche Fernsteuerung gesammelt wurden. Experimente mit einem Franka Emika Roboter zeigen, dass der ICRT sich an neue Aufgaben anpassen kann, die durch Aufforderungen spezifiziert sind, selbst in Umgebungskonfigurationen, die sich sowohl von der Aufforderung als auch von den Trainingsdaten unterscheiden. In einer Multitask-Umgebung übertrifft der ICRT signifikant aktuelle State-of-the-Art-Modelle für die Vorhersage des nächsten Tokens in der Robotik bei der Verallgemeinerung auf unbekannte Aufgaben. Code, Kontrollpunkte und Daten sind verfügbar unter https://icrt.dev/

English

We explore how to enhance next-token prediction models to perform in-context imitation learning on a real robot, where the robot executes new tasks by interpreting contextual information provided during the input phase, without updating its underlying policy parameters. We propose In-Context Robot Transformer (ICRT), a causal transformer that performs autoregressive prediction on sensorimotor trajectories without relying on any linguistic data or reward function. This formulation enables flexible and training-free execution of new tasks at test time, achieved by prompting the model with sensorimotor trajectories of the new task composing of image observations, actions and states tuples, collected through human teleoperation. Experiments with a Franka Emika robot demonstrate that the ICRT can adapt to new tasks specified by prompts, even in environment configurations that differ from both the prompt and the training data. In a multitask environment setup, ICRT significantly outperforms current state-of-the-art next-token prediction models in robotics on generalizing to unseen tasks. Code, checkpoints and data are available on https://icrt.dev/