Kontextbezogene Weltmodellierung für die Robotersteuerung

Zusammenfassung

Moderne Vision-Language-Action-Modelle (VLA-Modelle) scheitern oft daran, auf neuartige Gegebenheiten wie veränderte Kameraperspektiven oder Roboter-Morphologien zu verallgemeinern, da sie typischerweise nur auf aktuelle Beobachtungen und Sprachbefehle konditioniert sind. Indem sie die zugrunde liegende Systemkonfiguration als Variable ignorieren, nehmen diese Modelle implizit einen festen, während des Trainings angetroffenen Ausführungskontext an, was für jede neue Umgebung datenintensives Feintuning erforderlich macht. In dieser Arbeit stellen wir In-Context World Modeling (ICWM) vor, ein Rahmenwerk, das Systemidentifikation als ein Problem der In-Context-Anpassung behandelt. ICWM befähigt Roboterstrategien, wesentliche Systemvariablen eigenständig aus einer kurzen Historie selbst erzeugter, aufgabenunabhängiger Interaktionen abzuleiten. Im Gegensatz zum traditionellen In-Context Learning, das Demonstrationen verwendet, um festzulegen, welche Aufgabe auszuführen ist, nutzt ICWM das Kontextfenster, um zu verstehen, wie das System funktioniert. Durch die Verarbeitung dieser Interaktionen vor der Aufgabenausführung erfasst das Modell implizit die Weltdynamik des aktuellen Systems, was eine Anpassung an neuartige Konfigurationen ohne Parameteraktualisierungen ermöglicht. Umfangreiche Experimente in Simulation und auf realen Roboterplattformen zeigen, dass ICWM Standard-VLA-Baselines bei neuartigen Kameraperspektiven deutlich übertrifft.

English

Modern Vision-Language-Action (VLA) models often fail to generalize to novel setups, such as altered camera viewpoints or robot morphologies, because they are typically conditioned only on current observations and language instructions. By ignoring the underlying system configuration as a variable, these models implicitly assume a fixed execution context encountered during training, necessitating data-intensive fine-tuning for any new environment. In this work, we introduce In-Context World Modeling (ICWM), a framework that treats system identification as an in-context adaptation problem. ICWM enables robot policies to autonomously infer essential system variables from a short history of self-generated, task-agnostic interactions. Unlike traditional In-Context Learning that uses demonstrations to specify what task to perform, ICWM leverages the context window to understand how the system operates. By processing these interactions before task execution, the model implicitly captures the world dynamics of the current system, enabling adaptation to novel configurations without parameter updates. Extensive experiments in simulation and on real-world robot platforms demonstrate that ICWM significantly outperforms standard VLA baselines on novel camera viewpoints.