암시적 공간에서 걷기: 신경 장면 표현을 통한 상호작용적 세계 탐험

초록

카메라 제어 세계 탐험을 위한 대화형 비디오 생성 시스템은 잠재 비디오 프레임의 연속적인 시퀀스를 생성하며, 상태 전이와 고주파 관측 합성을 결합한다. 본 논문에서는 프레임 잠재 변수 대신 고정 길이의 렌더링 가능한 내재 상태인 신경 내재 장면(Neural Implicit Scene, NIS)을 생성 변수로 사용하는 장면 중심 패러다임인 *Implicit 속 걷기*(Walking in the Implicit)를 제안한다. 이는 대화형 생성을 압축된 장면 상태의 확률적 전이와, 샘플링된 상태에 기반한 결정론적 포즈 조건부 렌더링으로 분해한다. 우리는 이 패러다임을 NeuWorld로 구현한다. 트랜스포머 VAE는 희소 포즈 프레임으로부터 국소적으로 고정된 NIS를 학습하고, 확산 트랜스포머는 미래 카메라 궤적 및 기하학 인식 검색 이력에 조건화하여 NIS를 진화시킨다. VAE 인코더를 통합 조건부로 재사용함으로써, NeuWorld는 카메라, 참조 이미지, 이력 신호를 동일한 NIS 모달리티로 매핑하여 외부 이종 인코더를 피한다. 사전 학습된 비디오 백본이나 보조 3D 재구성기 없이 공개 포즈 뷰 데이터로 처음부터 학습된 NeuWorld는 우수한 추론 효율성과 함께 강력한 장기 일관성을 달성한다.

English

Interactive video generation systems for camera-controlled world exploration roll out growing sequences of latent video frames, entangling state transition with high-frequency observation synthesis. We propose Walking in the Implicit, a scene-centric paradigm that changes the rollout variable from frame latents to a fixed-length, renderable implicit state, termed Neural Implicit Scene (NIS). This factorizes interactive generation into stochastic transition of a compact scene state and deterministic pose-conditioned rendering given the sampled state. We instantiate this paradigm as NeuWorld: a transformer VAE learns locally anchored NIS from sparse posed frames, and a diffusion transformer evolves NIS conditioned on future camera trajectories and geometry-aware retrieved history. By reusing the VAE encoder as a unified conditioner, NeuWorld maps camera, reference-image, and history cues into the same NIS modality, avoiding external heterogeneous encoders. Trained from scratch on public posed-view data without pretrained video backbones or auxiliary 3D reconstructors, NeuWorld achieves strong long-horizon consistency with favorable inference efficiency.