Modélisation du monde en contexte pour le contrôle robotique

Résumé

Les modèles modernes Vision-Langage-Action (VLA) échouent souvent à généraliser à de nouvelles configurations, telles que des points de vue de caméra modifiés ou des morphologies de robots, car ils sont généralement conditionnés uniquement par les observations actuelles et les instructions langagières. En ignorant la configuration sous-jacente du système en tant que variable, ces modèles supposent implicitement un contexte d'exécution fixe rencontré lors de l'entraînement, ce qui nécessite un réglage fin intensif en données pour tout nouvel environnement. Dans ce travail, nous introduisons la Modélisation du Monde en Contexte (ICWM), un cadre qui traite l'identification du système comme un problème d'adaptation en contexte. ICWM permet aux politiques robotiques d'inférer de manière autonome les variables essentielles du système à partir d'un bref historique d'interactions auto-générées et indépendantes de la tâche. Contrairement à l'Apprentissage en Contexte traditionnel qui utilise des démonstrations pour spécifier quelle tâche effectuer, ICWM exploite la fenêtre de contexte pour comprendre comment le système fonctionne. En traitant ces interactions avant l'exécution de la tâche, le modèle capture implicitement les dynamiques du monde du système actuel, permettant une adaptation à de nouvelles configurations sans mises à jour des paramètres. Des expériences approfondies en simulation et sur des plateformes robotiques réelles montrent que ICWM surpasse significativement les lignes de base VLA standard sur de nouveaux points de vue de caméra.

English

Modern Vision-Language-Action (VLA) models often fail to generalize to novel setups, such as altered camera viewpoints or robot morphologies, because they are typically conditioned only on current observations and language instructions. By ignoring the underlying system configuration as a variable, these models implicitly assume a fixed execution context encountered during training, necessitating data-intensive fine-tuning for any new environment. In this work, we introduce In-Context World Modeling (ICWM), a framework that treats system identification as an in-context adaptation problem. ICWM enables robot policies to autonomously infer essential system variables from a short history of self-generated, task-agnostic interactions. Unlike traditional In-Context Learning that uses demonstrations to specify what task to perform, ICWM leverages the context window to understand how the system operates. By processing these interactions before task execution, the model implicitly captures the world dynamics of the current system, enabling adaptation to novel configurations without parameter updates. Extensive experiments in simulation and on real-world robot platforms demonstrate that ICWM significantly outperforms standard VLA baselines on novel camera viewpoints.