MiniWorld: ビデオ世界モデルのゼロからのトレーニングの民主化

要旨

ビデオワールドモデルは、過去の観測と制御信号を条件として将来の観測を予測し、自己回帰的な状態遷移を通じて長期的な生成を可能にする。主に視覚的外観と動作を捉える従来のビデオ生成モデルとは異なり、ビデオワールドモデルはエージェントの行動下における環境進化を支配する基礎的ダイナミクスを学習し、具現化AIと対話的シミュレーションの基盤を提供する。最近の進歩は主に、事前学習済みビデオ生成モデルを事後学習や蒸留を通じて適応させることに依存してきた。有効ではあるものの、これらのアプローチは複雑な学習パイプラインと多大な計算リソースを必要とすることが多く、双方向の事前学習と因果的ストリーミング推論との間の不整合に悩まされている。最近の研究では、自己回帰的ビデオワールドモデルをゼロから学習することが実現可能かつスケーラブルであることが示されている。しかしながら、コミュニティには、控えめな計算リソースでエンドツーエンドに学習可能な、軽量で透明性が高く、完全に再現可能なベースラインが依然として不足している。我々は、ストリーミングビデオワールドモデルをゼロから学習するための再現可能なフレームワークであるMiniWorldを提案する。MiniWorldは、事前学習済みビデオVAEの潜在空間においてフローマッチングを用いて学習されたブロック因果ビデオ拡散トランスフォーマーを採用する。拡散フォーシングに基づき、チャンク単位の非減少ノイズスケジュールと二段階の継続学習を採用し、時間的モデリングと安定性を向上させる。推論時には、MiniWorldはローリングKVキャッシュとパイプライン化された非同期デノイジングを組み合わせ、制約された計算量のもとで効率的なストリーミング生成を実現する。モデル全体は、8GPUサーバー1台で数日以内に学習可能である。学習および推論コードベースと事前学習済みチェックポイントを公開することで、MiniWorldが今後のビデオワールドモデリング研究を促進することを期待する。

English

Video world models predict future observations conditioned on historical observations and control signals, enabling long-horizon generation through autoregressive state transitions. Unlike conventional video generation models that primarily capture visual appearance and motion, video world models learn the underlying dynamics governing environment evolution under agent actions, providing a foundation for embodied AI and interactive simulation. Recent progress has largely relied on adapting pretrained video generation models through post-training or distillation. Although effective, these approaches often require complex training pipelines, substantial computational resources, and suffer from the mismatch between bidirectional pretraining and causal streaming inference. Recent studies have shown that training autoregressive video world models from scratch is feasible and scalable. However, the community still lacks a lightweight, transparent, and fully reproducible baseline trainable end-to-end with modest computational resources. We present MiniWorld, a reproducible framework for training streaming video world models from scratch. MiniWorld employs a block-causal Video Diffusion Transformer trained with Flow Matching in the latent space of a pretrained Video VAE. Building on Diffusion Forcing, it adopts a chunk-wise non-decreasing noise schedule and two-stage continued training to improve temporal modeling and stability. During inference, MiniWorld combines a rolling KV cache with pipelined asynchronous denoising for efficient streaming generation under bounded computation. The entire model can be trained within several days on a single 8-GPU server. By releasing the training and inference codebase and pretrained checkpoints, we hope MiniWorld will facilitate future research on video world modeling.