BagelVLA: Aprimorando a Manipulação de Longo Horizonte por meio da Geração Intercalada Visão-Linguagem-Ação
BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation
February 10, 2026
Autores: Yucheng Hu, Jianke Zhang, Yuanfei Luo, Yanjiang Guo, Xiaoyu Chen, Xinshu Sun, Kun Feng, Qingzhou Lu, Sheng Chen, Yangang Zhang, Wei Li, Jianyu Chen
cs.AI
Resumo
Dotar agentes corporificados com a capacidade de raciocinar sobre tarefas, prever resultados físicos e gerar ações precisas é essencial para a manipulação de propósito geral. Embora os modelos recentes de Visão-Linguagem-Ação (VLA) tenham aproveitado modelos de base pré-treinados, eles geralmente se concentram no planeamento linguístico ou na previsão visual de forma isolada. Estes métodos raramente integram ambas as capacidades simultaneamente para orientar a geração de ações, resultando num desempenho abaixo do ideal em tarefas de manipulação complexas e de longo horizonte. Para colmatar esta lacuna, propomos o BagelVLA, um modelo unificado que integra planeamento linguístico, previsão visual e geração de ações numa única estrutura. Inicializado a partir de um modelo unificado de compreensão e geração pré-treinado, o BagelVLA é treinado para intercalar o raciocínio textual e a previsão visual diretamente no ciclo de execução de ações. Para acoplar estas modalidades de forma eficiente, introduzimos a Orientação por Fluxo Residual (RFG), que parte da observação atual e aproveita a eliminação de ruído em passo único para extrair características visuais preditivas, orientando a geração de ações com latência mínima. Experiências extensivas demonstram que o BagelVLA supera as bases de comparação existentes por uma margem significativa em múltiplos benchmarks simulados e do mundo real, particularmente em tarefas que exigem raciocínio em múltiplos estágios.
English
Equipping embodied agents with the ability to reason about tasks, foresee physical outcomes, and generate precise actions is essential for general-purpose manipulation. While recent Vision-Language-Action (VLA) models have leveraged pre-trained foundation models, they typically focus on either linguistic planning or visual forecasting in isolation. These methods rarely integrate both capabilities simultaneously to guide action generation, leading to suboptimal performance in complex, long-horizon manipulation tasks. To bridge this gap, we propose BagelVLA, a unified model that integrates linguistic planning, visual forecasting, and action generation within a single framework. Initialized from a pretrained unified understanding and generative model, BagelVLA is trained to interleave textual reasoning and visual prediction directly into the action execution loop. To efficiently couple these modalities, we introduce Residual Flow Guidance (RFG), which initializes from current observation and leverages single-step denoising to extract predictive visual features, guiding action generation with minimal latency. Extensive experiments demonstrate that BagelVLA outperforms existing baselines by a significant margin on multiple simulated and real-world benchmarks, particularly in tasks requiring multi-stage reasoning.