世界状態レジスタを用いたストリーミング・マルチエージェント自己回帰拡散モデル

要旨

マルチエージェント対話型ワールドモデルは、一貫した観測を生成するだけでなく、エージェント間で持続し視点間で進化するワールド状態を維持すべきである。既存の自己回帰型ビデオ拡散パイプラインは、観測履歴を条件付けコンテキストとして前方に伝達するため、マルチエージェント・マルチビュー設定において共有状態の維持が困難である。我々はWorldWeaver (W^2)を提案する。これはストリーミング型マルチエージェントビデオ拡散モデルであり、ロールアウトにエージェント間ワールド状態レジスタを追加する。これらのレジスタは学習可能なトークンであり、共有ワールド情報を格納し、個々のエージェントの状態を追跡し、生成された各チャンク後に動的に更新される。我々はこれらのレジスタを、個々のエージェントの状態、俯瞰図を含むグローバル状態ビュー、およびシーンテキストにわたる教師信号で接地する。さらに、ワールド状態モデリングと視覚フレームモデリングに別々の重みを使用するMixture-of-Transformers設計によりアーキテクチャを改善する。2エージェントのMinecraftビデオ生成における広範な実験により、明示的なワールド状態モデリングが論理的一貫性と生成品質を向上させることが示される。

English

Multi-agent interactive world models should not only generate consistent observations, but also maintain world states that persist across agents and evolve across views. Existing autoregressive video diffusion pipelines carry forward observation history as conditioning context, which makes shared state difficult to maintain in multi-agent and multi-view settings. We present WorldWeaver (W^2), a streaming multi-agent video diffusion model that augments rollout with cross-agent world state registers: learnable tokens that store shared world information, track individual agent status, and are dynamically updated after each generated chunk. We ground these registers with supervision signals spanning individual agent status, global state views including bird's-eye views, and scene text. We further improve the architecture with a Mixture-of-Transformers design that uses separate weights for world state modeling and visual frame modeling. Extensive experiments in two-agent Minecraft video generation show that explicit world-state modeling improves logical consistency and generation quality.