BagelVLA: Mejora de la Manipulación de Largo Horizonte mediante Generación Intercalada de Visión, Lenguaje y Acción
BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation
February 10, 2026
Autores: Yucheng Hu, Jianke Zhang, Yuanfei Luo, Yanjiang Guo, Xiaoyu Chen, Xinshu Sun, Kun Feng, Qingzhou Lu, Sheng Chen, Yangang Zhang, Wei Li, Jianyu Chen
cs.AI
Resumen
Dotar a los agentes corporizados de la capacidad de razonar sobre tareas, prever resultados físicos y generar acciones precisas es esencial para la manipulación de propósito general. Si bien los modelos recientes de Visión-Lenguaje-Acción (VLA) han aprovechado modelos base preentrenados, generalmente se centran en la planificación lingüística o en la predicción visual de forma aislada. Estos métodos rara vez integran ambas capacidades simultáneamente para guiar la generación de acciones, lo que conduce a un rendimiento subóptimo en tareas de manipulación complejas y de largo horizonte. Para cerrar esta brecha, proponemos BagelVLA, un modelo unificado que integra planificación lingüística, predicción visual y generación de acciones en un único marco. Inicializado a partir de un modelo unificado de comprensión y generación preentrenado, BagelVLA se entrena para intercalar el razonamiento textual y la predicción visual directamente en el bucle de ejecución de acciones. Para acoplar estas modalidades de manera eficiente, introducimos la Guía de Flujo Residual (RFG), que se inicializa a partir de la observación actual y aprovecha la eliminación de ruido en un solo paso para extraer características visuales predictivas, guiando la generación de acciones con una latencia mínima. Experimentos exhaustivos demuestran que BagelVLA supera significativamente a los métodos base existentes en múltiples benchmarks simulados y del mundo real, particularmente en tareas que requieren razonamiento multi-etapa.
English
Equipping embodied agents with the ability to reason about tasks, foresee physical outcomes, and generate precise actions is essential for general-purpose manipulation. While recent Vision-Language-Action (VLA) models have leveraged pre-trained foundation models, they typically focus on either linguistic planning or visual forecasting in isolation. These methods rarely integrate both capabilities simultaneously to guide action generation, leading to suboptimal performance in complex, long-horizon manipulation tasks. To bridge this gap, we propose BagelVLA, a unified model that integrates linguistic planning, visual forecasting, and action generation within a single framework. Initialized from a pretrained unified understanding and generative model, BagelVLA is trained to interleave textual reasoning and visual prediction directly into the action execution loop. To efficiently couple these modalities, we introduce Residual Flow Guidance (RFG), which initializes from current observation and leverages single-step denoising to extract predictive visual features, guiding action generation with minimal latency. Extensive experiments demonstrate that BagelVLA outperforms existing baselines by a significant margin on multiple simulated and real-world benchmarks, particularly in tasks requiring multi-stage reasoning.