세계 상태 레지스터를 포함한 스트리밍 멀티 에이전트 자기회귀 확산 모델

초록

다중 에이전트 상호작용 세계 모델은 일관된 관측치를 생성할 뿐만 아니라, 에이전트 간에 지속되고 시점에 따라 진화하는 세계 상태를 유지해야 한다. 기존의 자기회귀적 비디오 확산 파이프라인은 관측 내역을 조건부 컨텍스트로 전달하는데, 이는 다중 에이전트 및 다중 시점 환경에서 공유 상태를 유지하기 어렵게 만든다. 본 논문에서는 WorldWeaver (W²)를 제안한다. 이는 스트리밍 방식의 다중 에이전트 비디오 확산 모델로, 롤아웃 과정에 에이전트 간 세계 상태 레지스터(learnable tokens)를 추가한다. 이 레지스터는 공유 세계 정보를 저장하고 개별 에이전트 상태를 추적하며, 각 생성 청크 이후 동적으로 업데이트된다. 우리는 개별 에이전트 상태, 조감도를 포함한 전역 상태 뷰, 장면 텍스트에 걸친 감독 신호를 통해 이러한 레지스터를 학습시킨다. 또한, 세계 상태 모델링과 시각적 프레임 모델링에 별도의 가중치를 사용하는 트랜스포머 혼합(Mixture-of-Transformers) 설계를 통해 아키텍처를 개선한다. 두 에이전트 마인크래프트 비디오 생성에 대한 광범위한 실험은 명시적 세계 상태 모델링이 논리적 일관성과 생성 품질을 향상시킴을 보여준다.

English

Multi-agent interactive world models should not only generate consistent observations, but also maintain world states that persist across agents and evolve across views. Existing autoregressive video diffusion pipelines carry forward observation history as conditioning context, which makes shared state difficult to maintain in multi-agent and multi-view settings. We present WorldWeaver (W^2), a streaming multi-agent video diffusion model that augments rollout with cross-agent world state registers: learnable tokens that store shared world information, track individual agent status, and are dynamically updated after each generated chunk. We ground these registers with supervision signals spanning individual agent status, global state views including bird's-eye views, and scene text. We further improve the architecture with a Mixture-of-Transformers design that uses separate weights for world state modeling and visual frame modeling. Extensive experiments in two-agent Minecraft video generation show that explicit world-state modeling improves logical consistency and generation quality.