이중 스트림 확산을 활용한 세계 모델 기반 시각-언어-행동 통합 모델

초록

최근 비전-언어-행동 모델(VLA)에 세계 모델링을 접목하는 방식이 로봇 정책 학습 성능 향상에 효과적임이 입증되고 있다. 그러나 관측 정보와 행동 시퀀스라는 두 양상 간의 본질적 차이로 인해 다음 상태 관측과 행동 시퀀스를 동시에 예측하는 것은 여전히 과제로 남아 있다. 이를 해결하기 위해 우리는 양상 간 충돌 문제를 처리하고 다양한 작업에서 VLA 성능을 향상시키는 세계 모델 기반 VLA 프레임워크인 DUAL-STream diffusion(DUST)을 제안한다. 구체적으로 우리는 명시적으로 분리된 양상 스트림을 유지하면서도 교차 양상 지식 공유가 가능한 다중모드 확산 트랜스포머 아키텍처를 설계하였다. 또한 각 양상에 독립적인 노이즈 섭동 기법과 분리형 흐름 매칭 손실 함수를 도입하였다. 이 설계는 통합 잠재 공간이 필요 없이 양방향 방식으로 결합 분포를 학습할 수 있게 한다. 훈련 시 양상 분리 구조를 기반으로, 우리는 행동 토큰과 비전 토큰이 서로 다른 속도로 비동기적으로 발전하는 테스트 시간 스케일링을 지원하는 결합 샘플링 방법도 제안한다. RoboCasa 및 GR-1과 같은 시뮬레이션 벤치마크 실험에서 DUST는 기준 방법 대비 최대 6% 성능 향상을 보였으며, 테스트 시간 스케일링 기법을 통해 추가로 2-5% 성능 향상을 달성했다. Franka Research 3을 이용한 실제 환경 작업에서 DUST는 성공률을 13% 향상시켜 시뮬레이션을 넘어선 유효성을 입증했다. 더 나아가 BridgeV2의 행동 정보 없는 영상으로 사전 훈련 시 RoboCasa에서显著的한 전이 효과가 관찰되어 DUST의 대규모 VLA 사전훈련 적용 가능성을 확인하였다.

English

Recently, augmenting Vision-Language-Action models (VLAs) with world modeling has shown promise in improving robotic policy learning. However, it remains challenging to jointly predict next-state observations and action sequences because of the inherent difference between the two modalities. To address this, we propose DUal-STream diffusion (DUST), a world-model augmented VLA framework that handles the modality conflict and enhances the performance of VLAs across diverse tasks. Specifically, we propose a multimodal diffusion transformer architecture that explicitly maintains separate modality streams while still enabling cross-modal knowledge sharing. In addition, we introduce independent noise perturbations for each modality and a decoupled flow-matching loss. This design enables the model to learn the joint distribution in a bidirectional manner while avoiding the need for a unified latent space. Based on the decoupling of modalities during training, we also introduce a joint sampling method that supports test-time scaling, where action and vision tokens evolve asynchronously at different rates. Through experiments on simulated benchmarks such as RoboCasa and GR-1, DUST achieves up to 6% gains over baseline methods, while our test-time scaling approach provides an additional 2-5% boost. On real-world tasks with the Franka Research 3, DUST improves success rates by 13%, confirming its effectiveness beyond simulation. Furthermore, pre-training on action-free videos from BridgeV2 yields significant transfer gains on RoboCasa, underscoring DUST's potential for large-scale VLA pretraining.

이중 스트림 확산을 활용한 세계 모델 기반 시각-언어-행동 통합 모델

Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model

초록

Support