Alaya-EVOKE: 線形スケーリングする監視から無限の世界へ

要旨

インタラクティブなワールドモデルは、持続的な記憶、応答性の高いインタラクション、そして長期的な生成を支える必要があるが、これらの要件はモデルに相反する要求を課す。デノイザーのコンテキストやキー・バリューキャッシュに履歴を保持するコストは増大し続け、セッション長と保持メモリの間のトレードオフを強いられる。一方、低遅延インタラクションは、その能力が教師モデルに制約される数ステップ生成に依存している。Evokeは、持続的なワールド状態を外部化し、長期的なインタラクティブ生成向けに教師モデルを再設計することで、この両方の制約に対処する。シーンのジオメトリは、外部のカメラ索引付きワールド状態バンクに保持され、そこから視点に関連する情報のみが取得されるため、セッションが長くなってもデノイザーのコンテキストは有界に保たれる。教師モデルを固定の生成器として扱うのではなく、長期的な教師信号を提供できるように設計する。そのスパースアテンションは、チャンク単位のグループ化、選択した遠方フレームの検索、線形アテンションによるグローバル状態を組み合わせ、メモリと計算量の線形成長を実現しつつ、長期にわたる教師信号を可能にする。このような教師信号は、短いウィンドウ内で局所的にしか妥当でないコンテンツドリフトを明らかにする。一方、チャンクごとの条件付けは、シーケンス全体を通じてプロンプトの変更やイベント制御を可能にする。自己強制ロールアウトの下で適用される30秒の分布マッチング目的は、分類器なしガイダンスを使用しない3ステップの学生モデルに両方の能力を転移し、応答性の高い条件付けを維持しつつ、長期的なドリフトへの耐性を向上させる。有界なコンテキストと再帰的な外部メモリにより、Evokeはオープンエンドで継続的に進化する生成をサポートする。単一のH200上で、384×640の解像度では、各1.5秒のチャンクが2.11秒で生成される。3ステップのワールドモデルとして、EvokeはWBenchで最先端の性能を達成し、VBench-LongおよびVBench-2.0でも競争力を維持する。

English

Interactive world models must support persistent memory, responsive interaction, and long-horizon generation, yet these requirements place conflicting demands on the model. Maintaining history in the denoiser context or key-value cache incurs growing cost, forcing a trade-off between session length and retained memory, while low-latency interaction relies on few-step generation whose capabilities are bounded by its teacher. Evoke addresses both limitations by externalizing persistent world state and redesigning the teacher for long-horizon interactive generation. Scene geometry is maintained in an external, camera-indexed world state bank, from which only view-relevant information is retrieved, keeping the denoiser context bounded as the session grows. Rather than treating the teacher as a fixed generator, we design it for long-horizon supervision: its sparse attention combines chunk-wise grouping, retrieval of selected distant frames, and a linear-attention global state, yielding linear growth in memory and compute while enabling supervision over long horizons. Such supervision exposes content drift that stays locally plausible within short windows, while per-chunk conditioning enables prompt changes and event control throughout the sequence. A 30-second distribution-matching objective, applied under self-forced rollouts, transfers both capabilities to a three-step student that uses no classifier-free guidance, improving resistance to long-term drift while preserving responsive conditioning. With bounded context and recurrent external memory, Evoke supports open-ended, continuously evolving generation; on a single H200 at 384times 640, each 1.5,s chunk is generated in 2.11,s. As a three-step world model, Evoke achieves state-of-the-art performance on WBench while remaining competitive on VBench-Long and VBench-2.0.