플레이 속도로 작동하는 생성적 세계 렌더러

초록

생성적 세계 렌더러 AlayaRenderer는 물리 엔진에서 내보낸 구조화된 세계 상태를 입력받아 RGB 프레임을 합성한다. 텍스트나 제어 힌트 프롬프트로 프레임을 생성하는 모델과 달리, AlayaRenderer는 기본 세계 동역학을 변경하지 않고 장면 구조를 유지한다. 이는 상호작용적 세계 모델링과 사용자 제어 가능한 플레이를 향한 대안적 경로를 보여준다. 그러나 원본 AlayaRenderer는 실시간 배포에 비해 계산 비용이 너무 크다. 본 기술 보고서는 실시간 지향 생성적 순방향 세계 렌더러인 AlayaRenderer-Flash를 소개하며, AlayaRenderer의 성능을 0.56 FPS에서 31.54 FPS로 향상시켜 플레이 가능한 속도에 도달한다. AlayaRenderer-Flash는 원본 렌더러를 소수의 단계로 구성된 자기회귀 스트리밍 모델로 재구성하고, 효율적인 잠재 인코딩 및 프레임 재구성을 위해 경량화된 증류 코덱을 도입한다. 이는 교사 모델의 G-버퍼 및 텍스트 프롬프트 인터페이스를 유지하면서 무제한 길이의 입력 스트림에 대한 연속 렌더링을 가능하게 한다. 우리는 AlayaRenderer-Flash를 G-버퍼 스트림을 대상으로 콘텐츠 보존, 시간적 일관성, 교차 윈도우 안정성, 프롬프트 제어 가능성 및 런타임 효율성 측면에서 평가한다. 실험 결과, AlayaRenderer-Flash는 교사 모델의 핵심 렌더링 능력을 유지하면서 추론 비용을 크게 줄이는 것으로 나타났다. AlayaRenderer-Flash를 물리 엔진과 통합함으로써, 우리는 30 FPS로 작동하는 완전히 플레이 가능한 생성적 세계를 구축한다.

English

Generative world renderer AlayaRenderer receives structured world states exported from physics engines and synthesizes RGB frames. Unlike models that generate frames from text/control-hints prompts, AlayaRenderer preserves scene structure without altering the underlying world dynamics. This demonstrates an alternative path toward interactive world modeling and user-controllable play. However, the original AlayaRenderer is too computationally expensive for real-time deployment. This technical report introduces AlayaRenderer-Flash, a real-time-oriented generative forward world renderer that pushes AlayaRenderer from 0.56 FPS to 31.54 FPS, reaching the speed of play. AlayaRenderer-Flash reformulates the original renderer as a few-step autoregressive streaming model and introduces lightweight distilled codecs for efficient latent encoding and frame reconstruction. It retains the teacher model's G-buffer and text-prompt interfaces while enabling continuous rendering over input streams of unbounded length. We evaluate AlayaRenderer-Flash on G-buffer streams across content preservation, temporal consistency, cross-window stability, prompt controllability, and runtime efficiency. Our results show that AlayaRenderer-Flash substantially reduces inference cost while preserving the core rendering capabilities of the teacher model. By integrating AlayaRenderer-Flash with a physics engine, we build a fully playable generative world running at 30 FPS.