O DAWN de Modelos Interativos de Ação Mundial

Resumo

Uma evolução plausível da cena depende da manobra considerada, enquanto uma boa manobra depende de como a cena pode evoluir. Os Modelos de Mundo-Ação (WAMs) existentes ignoram amplamente essa reciprocidade, tratando a predição do mundo e a geração de ações como ramos paralelos isolados ou pipelines rígidos de prever-depois-planejar. Formalizamos essa perspectiva como Modelos Interativos de Mundo-Ação (WAIMs) e a instanciamos na direção autônoma com o DAWN (Modelo Interativo de Remoção de Ruído de Ações e Mundo), uma linha de base generativa latente simples, porém robusta. O DAWN opera em um espaço latente semântico compacto e acopla um Preditor de Mundo a um Removedor de Ruído de Ação Condicionado ao Mundo: a hipótese de mundo prevista condiciona a remoção de ruído da ação, enquanto a hipótese de ação com ruído removido é realimentada para atualizar a predição do mundo, de modo que ambas são refinadas recursivamente durante a inferência. Em vez de eliminar totalmente a evolução do mundo em tempo de teste ou desdobrar todo o futuro no espaço de pixel, o DAWN realiza um desdobramento latente explícito curto, suficiente para apoiar a geração de trajetória de longo horizonte em cenas interativas complexas. Experimentos mostram que o DAWN alcança forte desempenho de planejamento e resultados favoráveis relacionados à segurança em vários benchmarks de direção autônoma. De forma mais ampla, nossos resultados sugerem que a geração interativa de mundo-ação é um caminho fundamentado em direção a modelos de mundo verdadeiramente acionáveis.

English

A plausible scene evolution depends on the maneuver being considered, while a good maneuver depends on how the scene may evolve. Existing World Action Models (WAMs) largely miss this reciprocity, treating world prediction and action generation as either isolated parallel branches or rigid predict-then-plan pipelines. We formalize this perspective as World-Action Interactive Models (WAIMs), and instantiate it in autonomous driving with DAWN (Denoising Actions and World iNteractive model), a simple yet strong latent generative baseline. DAWN operates in a compact semantic latent space and couples a World Predictor with a World-Conditioned Action Denoiser: the predicted world hypothesis conditions action denoising, while the denoised action hypothesis is fed back to update the world prediction, so that both are recursively refined during inference. Rather than eliminating test-time world evolution altogether or rolling out the full future in pixel space, DAWN performs a short explicit latent rollout that is sufficient to support long-horizon trajectory generation in complex interactive scenes. Experiments show that DAWN achieves strong planning performance and favorable safety-related results across multiple autonomous driving benchmarks. More broadly, our results suggest that interactive world-action generation is a principled path toward truly actionable world models.