Modelado Contextual del Mundo para el Control Robótico

Resumen

Los modelos modernos de Visión-Lenguaje-Acción (VLA) a menudo fallan al generalizar a configuraciones novedosas, como puntos de vista de cámara alterados o morfologías robóticas, porque normalmente están condicionados únicamente a observaciones actuales e instrucciones lingüísticas. Al ignorar la configuración subyacente del sistema como variable, estos modelos asumen implícitamente un contexto de ejecución fijo encontrado durante el entrenamiento, lo que requiere un ajuste fino intensivo en datos para cualquier entorno nuevo. En este trabajo, presentamos el Modelado de Mundo en Contexto (ICWM, por sus siglas en inglés), un marco que trata la identificación del sistema como un problema de adaptación en contexto. ICWM permite que las políticas robóticas infieran de manera autónoma variables esenciales del sistema a partir de una breve historia de interacciones autogeneradas y no relacionadas con la tarea. A diferencia del Aprendizaje en Contexto tradicional, que utiliza demostraciones para especificar qué tarea realizar, ICWM aprovecha la ventana de contexto para entender cómo opera el sistema. Al procesar estas interacciones antes de la ejecución de la tarea, el modelo captura implícitamente la dinámica del mundo del sistema actual, permitiendo la adaptación a configuraciones novedosas sin actualizaciones de parámetros. Experimentos exhaustivos en simulación y en plataformas robóticas del mundo real demuestran que ICWM supera significativamente a las líneas base estándar de VLA en puntos de vista de cámara novedosos.

English

Modern Vision-Language-Action (VLA) models often fail to generalize to novel setups, such as altered camera viewpoints or robot morphologies, because they are typically conditioned only on current observations and language instructions. By ignoring the underlying system configuration as a variable, these models implicitly assume a fixed execution context encountered during training, necessitating data-intensive fine-tuning for any new environment. In this work, we introduce In-Context World Modeling (ICWM), a framework that treats system identification as an in-context adaptation problem. ICWM enables robot policies to autonomously infer essential system variables from a short history of self-generated, task-agnostic interactions. Unlike traditional In-Context Learning that uses demonstrations to specify what task to perform, ICWM leverages the context window to understand how the system operates. By processing these interactions before task execution, the model implicitly captures the world dynamics of the current system, enabling adaptation to novel configurations without parameter updates. Extensive experiments in simulation and on real-world robot platforms demonstrate that ICWM significantly outperforms standard VLA baselines on novel camera viewpoints.