minWM: Een full-stack open-source framework voor real-time interactieve videowereldmodellen

Samenvatting

Recente funderingsmodellen voor videodiffusie hebben opmerkelijke vooruitgang geboekt bij het genereren van hoogwaardige video's, maar het omzetten ervan in real-time interactieve videowereldmodellen blijft een uitdaging. Interactieve wereldmodellen vereisen controleerbare, causale uitrol met lage latentie, wat in de praktijk een volledige pijplijn vereist die gegevensconstructie, controleerbare fine-tuning, autoregressieve training, distillatie in enkele stappen en streaming-inferentie omvat. In dit werk presenteren we minWM, een full-stack open-source raamwerk voor het bouwen van real-time interactieve videowereldmodellen. minWM biedt een end-to-end pijplijn die bestaande bidirectionele T2V/TI2V-videofunderingsmodellen omzet in camera-controleerbare autoregressieve wereldmodellen met weinig stappen. Specifiek fine-tunet minWM eerst een bidirectioneel videodiffusiemodel met camerabesturing en past vervolgens de Causal Forcing / Causal Forcing++-pijplijn toe, inclusief AR-diffusietraining, causale ODE of causale consistentiedistillatie en asymmetrische DMD, om het te distilleren tot een autoregressieve generator met weinig stappen voor uitrol met lage latentie. Het raamwerk is modulair en architectuur-uitbreidbaar: we instantieren het op representatieve open backbones, waaronder Wan2.1-T2V-1.3B en HY1.5-TI2V-8B, die zowel op cross-attention gebaseerde conditie-injectie als MMDiT-achtige architecturen omvatten. minWM ondersteunt ook het aanpassen van bestaande videowereldmodellen, zoals HY-WorldPlay, aan nieuwe gegevensdistributies, trainingsrecepten en latentiedoelen. Naast het uitbrengen van uitvoerbare scripts, checkpoints, documentatie en inferentiecode, bieden we praktische ablatie-experimenten met betrekking tot cameratrajectkwaliteit, controleerbaarheidsstappen voor training en minimale batchgrootte-eisen. We hopen dat minWM dient als een reproduceerbaar en uitbreidbaar recept voor het bouwen en aanpassen van real-time interactieve videowereldmodellen. Projectpagina: [https://github.com/shengshu-ai/minWM](https://github.com/shengshu-ai/minWM)

English

Recent video diffusion foundation models have achieved remarkable progress in high-quality video generation, yet turning them into real-time interactive video world models remains challenging. Interactive world models require controllable, causal, and low-latency rollout, which in practice demands a full pipeline spanning data construction, controllable fine-tuning, autoregressive training, few-step distillation, and streaming inference. In this work, we present minWM, a full-stack open-source framework for building real-time interactive video world models. minWM provides an end-to-end pipeline that converts existing bidirectional T2V/TI2V video foundation models into camera-controllable few-step autoregressive world models. Specifically, minWM first fine-tunes a bidirectional video diffusion model with camera control, and then applies the Causal Forcing / Causal Forcing++ pipeline, including AR diffusion training, causal ODE or causal consistency distillation, and asymmetric DMD, to distill it into a few-step autoregressive generator for low-latency rollout. The framework is modular and architecture-extensible: we instantiate it on representative open backbones, including Wan2.1-T2V-1.3B and HY1.5-TI2V-8B, covering both cross-attention-based condition injection and MMDiT-style architectures. minWM also supports adapting existing video world models, such as HY-WorldPlay, to new data distributions, training recipes, and latency targets. Beyond releasing runnable scripts, checkpoints, documentation, and inference code, we provide practical ablations on camera trajectory quality, controllability training steps, and minimal batch-size requirements. We hope minWM serves as a reproducible and extensible recipe for building and adapting real-time interactive video world models. Project Page: [https://github.com/shengshu-ai/minWM](https://github.com/shengshu-ai/minWM)