Alaya-EVOKE: 선형 확장 감독에서 끝없는 세계로

초록

인터랙티브 세계 모델은 지속적 메모리, 반응적 상호작용, 장기 생성을 지원해야 하지만, 이러한 요구 사항은 모델에 상충되는 요구를 부과한다. 디노이저 컨텍스트나 키-값 캐시에 기록을 유지하면 비용이 증가하여 세션 길이와 유지 메모리 사이의 절충을 강제하며, 저지연 상호작용은 교사 모델에 의해 능력이 제한되는 소수 단계 생성에 의존한다. Evoke는 지속적 세계 상태를 외부화하고 장기 인터랙티브 생성을 위해 교사 모델을 재설계함으로써 두 한계를 모두 해결한다. 장면 지오메트리는 외부의 카메라 인덱스 기반 세계 상태 뱅크에 유지되며, 현재 시점에 관련된 정보만 검색되므로 세션이 길어져도 디노이저 컨텍스트가 제한된 범위로 유지된다. 교사 모델을 고정된 생성기로 취급하는 대신, 우리는 이를 장기 감독에 적합하도록 설계한다. 교사 모델의 희소 어텐션은 청크 단위 그룹화, 선택된 원거리 프레임 검색, 선형 어텐션 전역 상태를 결합하여 메모리와 계산 비용이 선형적으로 증가하면서도 긴 지평에 걸친 감독을 가능하게 한다. 이러한 감독은 짧은 윈도우 내에서만 국소적으로 그럴듯한 콘텐츠 드리프트를 드러내며, 청크별 조건화는 시퀀스 전체에 걸쳐 프롬프트 변경과 이벤트 제어를 가능하게 한다. 자가 강제 롤아웃 하에 적용되는 30초 분포 정합 목적 함수는 두 능력을 모두 분류기 없는 유도를 사용하지 않는 3단계 학생 모델에 전이하여, 반응적 조건화를 유지하면서 장기 드리프트에 대한 저항성을 개선한다. 제한된 컨텍스트와 순환적 외부 메모리를 통해 Evoke는 개방형의 지속적으로 진화하는 생성을 지원하며, 단일 H200 GPU에서 384×640 해상도로 각 1.5초 청크를 2.11초에 생성한다. 3단계 세계 모델로서 Evoke는 WBench에서 최고 성능을 달성하고, VBench-Long 및 VBench-2.0에서도 경쟁력 있는 성능을 유지한다.

English

Interactive world models must support persistent memory, responsive interaction, and long-horizon generation, yet these requirements place conflicting demands on the model. Maintaining history in the denoiser context or key-value cache incurs growing cost, forcing a trade-off between session length and retained memory, while low-latency interaction relies on few-step generation whose capabilities are bounded by its teacher. Evoke addresses both limitations by externalizing persistent world state and redesigning the teacher for long-horizon interactive generation. Scene geometry is maintained in an external, camera-indexed world state bank, from which only view-relevant information is retrieved, keeping the denoiser context bounded as the session grows. Rather than treating the teacher as a fixed generator, we design it for long-horizon supervision: its sparse attention combines chunk-wise grouping, retrieval of selected distant frames, and a linear-attention global state, yielding linear growth in memory and compute while enabling supervision over long horizons. Such supervision exposes content drift that stays locally plausible within short windows, while per-chunk conditioning enables prompt changes and event control throughout the sequence. A 30-second distribution-matching objective, applied under self-forced rollouts, transfers both capabilities to a three-step student that uses no classifier-free guidance, improving resistance to long-term drift while preserving responsive conditioning. With bounded context and recurrent external memory, Evoke supports open-ended, continuously evolving generation; on a single H200 at 384times 640, each 1.5,s chunk is generated in 2.11,s. As a three-step world model, Evoke achieves state-of-the-art performance on WBench while remaining competitive on VBench-Long and VBench-2.0.