BagelVLA: Miglioramento della Manipolazione a Lungo Orizzonte tramite Generazione Intervallata Visione-Linguaggio-Azione
BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation
February 10, 2026
Autori: Yucheng Hu, Jianke Zhang, Yuanfei Luo, Yanjiang Guo, Xiaoyu Chen, Xinshu Sun, Kun Feng, Qingzhou Lu, Sheng Chen, Yangang Zhang, Wei Li, Jianyu Chen
cs.AI
Abstract
Dotare gli agenti embodied della capacità di ragionare sui compiti, prevedere gli esiti fisici e generare azioni precise è essenziale per la manipolazione a scopo generale. Sebbene i recenti modelli Visione-Linguaggio-Azione (VLA) abbiano sfruttato modelli foundation pre-addestrati, questi si concentrano tipicamente sulla pianificazione linguistica o sulla previsione visiva in modo isolato. Questi metodi raramente integrano entrambe le capacità simultaneamente per guidare la generazione delle azioni, portando a prestazioni subottimali in compiti di manipolazione complessi e a lungo termine. Per colmare questa lacuna, proponiamo BagelVLA, un modello unificato che integra la pianificazione linguistica, la previsione visiva e la generazione di azioni all'interno di un unico framework. Inizializzato da un modello unificato pre-addestrato per la comprensione e la generazione, BagelVLA viene allenato per intercalare il ragionamento testuale e la previsione visiva direttamente nel ciclo di esecuzione delle azioni. Per accoppiare efficientemente queste modalità, introduciamo la Residual Flow Guidance (RFG), che si inizializza dall'osservazione corrente e sfrutta la denoising a singolo passo per estrarre caratteristiche visive predittive, guidando la generazione delle azioni con latenza minima. Esperimenti estensivi dimostrano che BagelVLA supera i baseline esistenti con un margine significativo su molteplici benchmark simulati e del mondo reale, in particolare nei compiti che richiedono ragionamento multi-stadio.
English
Equipping embodied agents with the ability to reason about tasks, foresee physical outcomes, and generate precise actions is essential for general-purpose manipulation. While recent Vision-Language-Action (VLA) models have leveraged pre-trained foundation models, they typically focus on either linguistic planning or visual forecasting in isolation. These methods rarely integrate both capabilities simultaneously to guide action generation, leading to suboptimal performance in complex, long-horizon manipulation tasks. To bridge this gap, we propose BagelVLA, a unified model that integrates linguistic planning, visual forecasting, and action generation within a single framework. Initialized from a pretrained unified understanding and generative model, BagelVLA is trained to interleave textual reasoning and visual prediction directly into the action execution loop. To efficiently couple these modalities, we introduce Residual Flow Guidance (RFG), which initializes from current observation and leverages single-step denoising to extract predictive visual features, guiding action generation with minimal latency. Extensive experiments demonstrate that BagelVLA outperforms existing baselines by a significant margin on multiple simulated and real-world benchmarks, particularly in tasks requiring multi-stage reasoning.