BagelVLA: 시각-언어-행동의 교차 생성 기반 장기간 조작 성능 향상
BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation
February 10, 2026
저자: Yucheng Hu, Jianke Zhang, Yuanfei Luo, Yanjiang Guo, Xiaoyu Chen, Xinshu Sun, Kun Feng, Qingzhou Lu, Sheng Chen, Yangang Zhang, Wei Li, Jianyu Chen
cs.AI
초록
보유 에이전트에게 작업을 추론하고 물리적 결과를 예측하며 정확한 행동을 생성하는 능력을 갖추는 것은 범용 조작을 위해 필수적입니다. 최근 Vision-Language-Action (VLA) 모델들은 사전 훈련된 파운데이션 모델을 활용해 왔지만, 이들은 일반적으로 언어적 계획 수립이나 시각적 예측 중 한 가지만 단독으로 중점적으로 다룹니다. 이러한 방법들은 행동 생성을 안내하기 위해 두 능력을 동시에 통합하는 경우가 드물어, 복잡하고 장기적인 조작 작업에서 최적의 성능을 내지 못합니다. 이러한 격차를 해소하기 위해 우리는 언어적 계획 수립, 시각적 예측, 행동 생성을 단일 프레임워크 내에 통합한 통합 모델인 BagelVLA를 제안합니다. 사전 훈련된 통합 이해 및 생성 모델로 초기화된 BagelVLA는 텍스트 추론과 시각 예측을 행동 실행 루프에 직접 연계하도록 훈련됩니다. 이러한 모달리티를 효율적으로 결합하기 위해, 우리는 현재 관측으로부터 초기화하고 단일 단계 디노이징을 활용하여 예측적인 시각 특징을 추출하며, 최소 지연 시간으로 행동 생성을 안내하는 Residual Flow Guidance (RFG)를 도입했습니다. 광범위한 실험을 통해 BagelVLA가 여러 시뮬레이션 및 실제 환경 벤치마크에서, 특히 다단계 추론이 필요한 작업에서 기존 베이스라인을 큰 차이로 능가함을 입증했습니다.
English
Equipping embodied agents with the ability to reason about tasks, foresee physical outcomes, and generate precise actions is essential for general-purpose manipulation. While recent Vision-Language-Action (VLA) models have leveraged pre-trained foundation models, they typically focus on either linguistic planning or visual forecasting in isolation. These methods rarely integrate both capabilities simultaneously to guide action generation, leading to suboptimal performance in complex, long-horizon manipulation tasks. To bridge this gap, we propose BagelVLA, a unified model that integrates linguistic planning, visual forecasting, and action generation within a single framework. Initialized from a pretrained unified understanding and generative model, BagelVLA is trained to interleave textual reasoning and visual prediction directly into the action execution loop. To efficiently couple these modalities, we introduce Residual Flow Guidance (RFG), which initializes from current observation and leverages single-step denoising to extract predictive visual features, guiding action generation with minimal latency. Extensive experiments demonstrate that BagelVLA outperforms existing baselines by a significant margin on multiple simulated and real-world benchmarks, particularly in tasks requiring multi-stage reasoning.