minWM: Um Framework Full-Stack de Código Aberto para Modelos de Mundo de Vídeo Interativos em Tempo Real

Resumo

Modelos fundamentais recentes de difusão de vídeo alcançaram progresso notável na geração de vídeos de alta qualidade, no entanto, transformá-los em modelos de mundo de vídeo interativos em tempo real continua sendo desafiador. Modelos de mundo interativos exigem rollout controlável, causal e de baixa latência, o que na prática demanda um pipeline completo que abrange construção de dados, ajuste fino controlável, treinamento autoregressivo, destilação de poucas etapas e inferência em streaming. Neste trabalho, apresentamos o minWM, um framework full-stack de código aberto para construir modelos de mundo de vídeo interativos em tempo real. O minWM fornece um pipeline ponta a ponta que converte modelos fundamentais de vídeo T2V/TI2V bidirecionais existentes em modelos de mundo autoregressivos de poucas etapas controláveis por câmera. Especificamente, o minWM primeiro ajusta finamente um modelo de difusão de vídeo bidirecional com controle de câmera e, em seguida, aplica o pipeline Causal Forcing / Causal Forcing++, incluindo treinamento de difusão AR, destilação de ODE causal ou consistência causal e DMD assimétrico, para destilá-lo em um gerador autoregressivo de poucas etapas para rollout de baixa latência. O framework é modular e extensível a arquiteturas: o instanciamos em backbones abertos representativos, incluindo Wan2.1-T2V-1.3B e HY1.5-TI2V-8B, cobrindo tanto injeção de condição baseada em atenção cruzada quanto arquiteturas estilo MMDiT. O minWM também suporta a adaptação de modelos de mundo de vídeo existentes, como o HY-WorldPlay, a novas distribuições de dados, receitas de treinamento e metas de latência. Além de disponibilizar scripts executáveis, checkpoints, documentação e código de inferência, fornecemos ablações práticas sobre qualidade da trajetória da câmera, etapas de treinamento de controlabilidade e requisitos mínimos de tamanho de lote. Esperamos que o minWM sirva como uma receita reproduzível e extensível para construir e adaptar modelos de mundo de vídeo interativos em tempo real. Página do Projeto: [https://github.com/shengshu-ai/minWM](https://github.com/shengshu-ai/minWM)

English

Recent video diffusion foundation models have achieved remarkable progress in high-quality video generation, yet turning them into real-time interactive video world models remains challenging. Interactive world models require controllable, causal, and low-latency rollout, which in practice demands a full pipeline spanning data construction, controllable fine-tuning, autoregressive training, few-step distillation, and streaming inference. In this work, we present minWM, a full-stack open-source framework for building real-time interactive video world models. minWM provides an end-to-end pipeline that converts existing bidirectional T2V/TI2V video foundation models into camera-controllable few-step autoregressive world models. Specifically, minWM first fine-tunes a bidirectional video diffusion model with camera control, and then applies the Causal Forcing / Causal Forcing++ pipeline, including AR diffusion training, causal ODE or causal consistency distillation, and asymmetric DMD, to distill it into a few-step autoregressive generator for low-latency rollout. The framework is modular and architecture-extensible: we instantiate it on representative open backbones, including Wan2.1-T2V-1.3B and HY1.5-TI2V-8B, covering both cross-attention-based condition injection and MMDiT-style architectures. minWM also supports adapting existing video world models, such as HY-WorldPlay, to new data distributions, training recipes, and latency targets. Beyond releasing runnable scripts, checkpoints, documentation, and inference code, we provide practical ablations on camera trajectory quality, controllability training steps, and minimal batch-size requirements. We hope minWM serves as a reproducible and extensible recipe for building and adapting real-time interactive video world models. Project Page: [https://github.com/shengshu-ai/minWM](https://github.com/shengshu-ai/minWM)