プレイ速度での生成的ワールドレンダラー

要旨

生成的ワールドレンダラーAlayaRendererは、物理エンジンから出力された構造化ワールド状態を受け取り、RGBフレームを合成する。テキストや制御ヒントからフレームを生成するモデルとは異なり、AlayaRendererは基礎となるワールドダイナミクスを変えることなくシーン構造を保持する。これは、インタラクティブなワールドモデリングとユーザー制御可能なプレイに向けた代替経路を示すものである。しかし、元のAlayaRendererは計算コストが高く、リアルタイム展開には不向きである。本テクニカルレポートでは、リアルタイム指向の生成的順方向ワールドレンダラーであるAlayaRenderer-Flashを紹介する。これはAlayaRendererを0.56 FPSから31.54 FPSへと高速化し、プレイ可能な速度を実現する。AlayaRenderer-Flashは、元のレンダラーを数ステップの自己回帰ストリーミングモデルとして再構成し、効率的な潜在エンコーディングとフレーム再構成のために軽量な蒸留コーデックを導入する。教師モデルのGバッファおよびテキストプロンプトインターフェースを維持しつつ、無制限長の入力ストリーム上での連続レンダリングを可能にする。AlayaRenderer-Flashを、Gバッファストリーム上でコンテンツ保存、時間的一貫性、ウィンドウ間安定性、プロンプト制御可能性、実行時効率の観点から評価する。評価結果は、AlayaRenderer-Flashが教師モデルの中核的なレンダリング能力を維持しつつ、推論コストを大幅に削減することを示す。AlayaRenderer-Flashを物理エンジンと統合することで、30 FPSで動作する完全にプレイ可能な生成的世界を構築する。

English

Generative world renderer AlayaRenderer receives structured world states exported from physics engines and synthesizes RGB frames. Unlike models that generate frames from text/control-hints prompts, AlayaRenderer preserves scene structure without altering the underlying world dynamics. This demonstrates an alternative path toward interactive world modeling and user-controllable play. However, the original AlayaRenderer is too computationally expensive for real-time deployment. This technical report introduces AlayaRenderer-Flash, a real-time-oriented generative forward world renderer that pushes AlayaRenderer from 0.56 FPS to 31.54 FPS, reaching the speed of play. AlayaRenderer-Flash reformulates the original renderer as a few-step autoregressive streaming model and introduces lightweight distilled codecs for efficient latent encoding and frame reconstruction. It retains the teacher model's G-buffer and text-prompt interfaces while enabling continuous rendering over input streams of unbounded length. We evaluate AlayaRenderer-Flash on G-buffer streams across content preservation, temporal consistency, cross-window stability, prompt controllability, and runtime efficiency. Our results show that AlayaRenderer-Flash substantially reduces inference cost while preserving the core rendering capabilities of the teacher model. By integrating AlayaRenderer-Flash with a physics engine, we build a fully playable generative world running at 30 FPS.