ReWorld: 장기지평 메모리를 갖춘 상호작용 세계 모델

초록

인터랙티브 월드 모델은 사용자의 행동을 따라야 하며, 지금까지 보여주었던 장소를 기억하고, 실시간으로 스트리밍해야 한다. 이러한 요구에는 구조적 긴장이 내재해 있다. 제어는 짧은 수평선(horizon)을 원하는 반면, 기억은 무한한 수평선을 요구한다. ReWorld는 훈련 중에 이 둘을 분리하고 추론 시에는 경계를 설정한다. 혼합된 헤드별(per-head) 어텐션 윈도우는 대부분의 헤드를 최근 과거로 제한하는 반면, 소수의 전역 헤드(global heads)는 전체 이력을 주목하며, 무작위 헤드 라우팅(random head routing)은 두 기능이 특정 헤드에 고정되지 않도록 한다. 무작위 청크 드롭핑(random chunk dropping)은 희소한 이력이 분포 내(in-distribution)에 있게 만든다. 추론 시 전체 과거는 고정 예산 하에 존재한다. 즉, 포즈 기반 랜드마크 뱅크(pose-indexed landmark bank)로 뒷받침되는 경계 있는 KV 캐시를 사용하며, 모델은 현재 포즈에 가장 가까운 랜드마크를 검색한다. 미터 스케일 정합 데이터 엔진(metric-scale-aligned data engine)은 Unreal 렌더링 플라이스루(fly-through), 게임 로밍, 실사 영상 등 여덟 가지 소스를 하나의 물리적 동작 스케일로 정렬하여, 모든 소스에서 동일한 키 입력이 카메라를 동일한 거리만큼 이동시키도록 한다. 또한 회문 궤적(palindrome trajectories)은 메모리 훈련에 필요한 재방문 증거를 제공한다. LoRA 어댑터에 국한된 분포 정합 증류(distribution-matching distillation)는 샘플링을 4단계로 압축한다. 하나의 백본(backbone)이 고충실도 다단계 모드와 실시간 인터랙티브 모드를 동시에 지원하며, 포토리얼리스틱, 게임 스타일, 양식화된 세계에서 704x1280 비디오를 스트리밍한다. 행동 추종, 장기 기억 회상, 비디오 품질을涵盖하는 3축 프로토콜 하에서, 최근 여섯 가지 인터랙티브 월드 모델과 비교하여 최상의 제어 정확도(11.95° 회전 오류 및 최상의 카메라 움직임 일관성)와 최상의 생성 품질을 달성한다. 또한 1분 길이의 왕복 롤아웃(64초, 384개 잠재 변수)에서도 고정된 12-청크 캐시가 시작 시점의 뷰를 재생성한다. 이는 슬라이딩 윈도우가 이미 증거를 오래전에 축출하고 전체 KV 어텐션이 메모리 부족에 이르는 롤아웃 길이에서의 결과이다.

English

An interactive world model must follow the user's actions, remember the places it has shown, and stream in real time. The tension is structural: control wants a short horizon, memory wants an unbounded one. ReWorld separates the two during training and bounds them at inference. Mixed per-head attention windows confine most heads to the recent past while a small set of global heads attends over the entire history, and random head routing keeps either capability from binding to particular heads; random chunk dropping makes sparse histories in-distribution. At inference the whole past lives under a fixed budget: a bounded KV cache backed by a pose-indexed landmark bank, from which the model retrieves the landmarks nearest the current pose. A metric-scale-aligned data engine places eight sources -- Unreal-rendered fly-throughs, game roaming, and real-world footage -- on one physical action scale, so the same key press moves the camera the same distance in every source, and palindrome trajectories supply the revisit evidence that memory training needs. Distribution-matching distillation confined to a LoRA adapter then compresses sampling to four steps: one backbone serves both a high-fidelity multi-step mode and a real-time interactive one, streaming 704x1280 video across photorealistic, game-style, and stylized worlds. Under a three-axis protocol covering action following, long-horizon recall, and video quality, against six recent interactive world models it attains the best control fidelity (11.95^circ rotation error and the best camera-motion consistency) and the best generation quality; and on minute-long out-and-back rollouts (64\,s, 384 latents), its fixed 12-chunk cache still regenerates the starting view -- at rollout lengths where a sliding window has long evicted the evidence and full-KV attention runs out of memory.