Difusão de Fluxo Duplo para Modelo Visão-Linguagem-Ação Aumentado com Modelo de Mundo

Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model

October 31, 2025

Autores: John Won, Kyungmin Lee, Huiwon Jang, Dongyoung Kim, Jinwoo Shin

cs.AI

Resumo

Recentemente, o aumento de modelos Visão-Linguagem-Ação (VLAs) com modelagem de mundo tem mostrado potencial para melhorar o aprendizado de políticas robóticas. No entanto, continua sendo um desafio prever conjuntamente as observações do próximo estado e as sequências de ações devido à diferença inerente entre as duas modalidades. Para resolver isso, propomos o DUal-STream diffusion (DUST), uma estrutura VLA aumentada por modelo de mundo que lida com o conflito de modalidades e melhora o desempenho de VLAs em diversas tarefas. Especificamente, propomos uma arquitetura de transformer de difusão multimodal que mantém explicitamente fluxos de modalidade separados, permitindo ainda o compartilhamento de conhecimento cross-modal. Além disso, introduzimos perturbações de ruído independentes para cada modalidade e uma função de perda de correspondência de fluxo desacoplada. Este projeto permite que o modelo aprenda a distribuição conjunta de forma bidirecional, evitando a necessidade de um espaço latente unificado. Com base no desacoplamento de modalidades durante o treinamento, também introduzimos um método de amostragem conjunta que suporta escalonamento em tempo de teste, onde os tokens de ação e visão evoluem de forma assíncrona em taxas diferentes. Por meio de experimentos em benchmarks de simulação como RoboCasa e GR-1, o DUST alcança ganhos de até 6% em relação aos métodos de base, enquanto nossa abordagem de escalonamento em tempo de teste proporciona um aumento adicional de 2-5%. Em tarefas do mundo real com o Franka Research 3, o DUST melhora as taxas de sucesso em 13%, confirmando sua eficácia além da simulação. Além disso, o pré-treinamento em vídeos sem ações do BridgeV2 produz ganhos de transferência significativos no RoboCasa, ressaltando o potencial do DUST para pré-treinamento de VLA em larga escala.

English

Recently, augmenting Vision-Language-Action models (VLAs) with world modeling has shown promise in improving robotic policy learning. However, it remains challenging to jointly predict next-state observations and action sequences because of the inherent difference between the two modalities. To address this, we propose DUal-STream diffusion (DUST), a world-model augmented VLA framework that handles the modality conflict and enhances the performance of VLAs across diverse tasks. Specifically, we propose a multimodal diffusion transformer architecture that explicitly maintains separate modality streams while still enabling cross-modal knowledge sharing. In addition, we introduce independent noise perturbations for each modality and a decoupled flow-matching loss. This design enables the model to learn the joint distribution in a bidirectional manner while avoiding the need for a unified latent space. Based on the decoupling of modalities during training, we also introduce a joint sampling method that supports test-time scaling, where action and vision tokens evolve asynchronously at different rates. Through experiments on simulated benchmarks such as RoboCasa and GR-1, DUST achieves up to 6% gains over baseline methods, while our test-time scaling approach provides an additional 2-5% boost. On real-world tasks with the Franka Research 3, DUST improves success rates by 13%, confirming its effectiveness beyond simulation. Furthermore, pre-training on action-free videos from BridgeV2 yields significant transfer gains on RoboCasa, underscoring DUST's potential for large-scale VLA pretraining.