MiniWorld: 비디오 월드 모델의 처음부터 학습 대중화

초록

비디오 세계 모델은 과거 관측값과 제어 신호에 조건화하여 미래 관측값을 예측하며, 자기회귀적 상태 전이를 통해 장시간 지평선 생성(long-horizon generation)을 가능하게 한다. 주로 시각적 외형과 움직임을 포착하는 기존의 비디오 생성 모델과 달리, 비디오 세계 모델은 에이전트의 행동에 따라 환경이 진화하는 기저 동역학을 학습하여, 구현 지능(embodied AI)과 상호작용형 시뮬레이션의 기반을 제공한다. 최근의 진전은 대부분 사전 학습된 비디오 생성 모델을 후속 학습(post-training)이나 증류(distillation)를 통해 적응시키는 방식에 의존해 왔다. 이러한 접근 방식은 효과적이나, 복잡한 학습 파이프라인과 상당한 계산 자원을 요구하며, 양방향 사전 학습과 인과적 스트리밍 추론 간의 불일치 문제를 안고 있다. 최근 연구들은 자기회귀 비디오 세계 모델을 처음부터 학습하는 것이 가능하고 확장 가능함을 보여 주었다. 그러나 여전히 커뮤니티에는 적절한 계산 자원으로 종단 간(end-to-end) 학습이 가능한 가볍고 투명하며 완전히 재현 가능한 기준선(baseline)이 부족하다. 우리는 스트리밍 비디오 세계 모델을 처음부터 학습하기 위한 재현 가능한 프레임워크인 MiniWorld를 제시한다. MiniWorld는 사전 학습된 비디오 VAE의 잠재 공간에서 Flow Matching을 사용하여 학습된 블록 인과 비디오 확산 변환기(block-causal Video Diffusion Transformer)를 사용한다. Diffusion Forcing을 기반으로, 시간적 모델링과 안정성을 개선하기 위해 청크 단위 비감소 잡음 스케줄(chunk-wise non-decreasing noise schedule)과 2단계 지속 학습을 채택한다. 추론 시 MiniWorld는 순환 KV 캐시(rolling KV cache)를 파이프라인 비동기 잡음 제거(pipelined asynchronous denoising)와 결합하여 제한된 계산 자원 내에서 효율적인 스트리밍 생성을 수행한다. 전체 모델은 단일 8-GPU 서버에서 수일 내에 학습할 수 있다. 학습 및 추론 코드베이스와 사전 학습된 체크포인트를 공개함으로써, MiniWorld가 향후 비디오 세계 모델링 연구를 촉진하리라 기대한다.

English

Video world models predict future observations conditioned on historical observations and control signals, enabling long-horizon generation through autoregressive state transitions. Unlike conventional video generation models that primarily capture visual appearance and motion, video world models learn the underlying dynamics governing environment evolution under agent actions, providing a foundation for embodied AI and interactive simulation. Recent progress has largely relied on adapting pretrained video generation models through post-training or distillation. Although effective, these approaches often require complex training pipelines, substantial computational resources, and suffer from the mismatch between bidirectional pretraining and causal streaming inference. Recent studies have shown that training autoregressive video world models from scratch is feasible and scalable. However, the community still lacks a lightweight, transparent, and fully reproducible baseline trainable end-to-end with modest computational resources. We present MiniWorld, a reproducible framework for training streaming video world models from scratch. MiniWorld employs a block-causal Video Diffusion Transformer trained with Flow Matching in the latent space of a pretrained Video VAE. Building on Diffusion Forcing, it adopts a chunk-wise non-decreasing noise schedule and two-stage continued training to improve temporal modeling and stability. During inference, MiniWorld combines a rolling KV cache with pipelined asynchronous denoising for efficient streaming generation under bounded computation. The entire model can be trained within several days on a single 8-GPU server. By releasing the training and inference codebase and pretrained checkpoints, we hope MiniWorld will facilitate future research on video world modeling.