Прогулки в неявном: интерактивное исследование мира посредством нейронного представления сцены

Аннотация

Системы интерактивной генерации видео для исследования мира под управлением камеры разворачивают растущие последовательности латентных видеокадров, переплетая переход состояния с синтезом наблюдений высокой частоты. Мы предлагаем Walking in the Implicit — сцено-центрическую парадигму, которая заменяет переменную разворачивания с латентных представлений кадров на неявное состояние фиксированной длины, поддающееся рендерингу, названное Нейронной Неявной Сценой (Neural Implicit Scene, NIS). Это факторизует интерактивную генерацию на стохастический переход компактного состояния сцены и детерминистический рендеринг, обусловленный позой, при заданном семплированном состоянии. Мы инстанцируем эту парадигму в виде NeuWorld: трансформерный VAE обучается локально закрепленной NIS по разреженным кадрам с известными позами, а диффузионный трансформер обновляет NIS, обусловленный будущими траекториями камеры и геометрически-осознанной извлеченной историей. Повторно используя кодировщик VAE в качестве унифицированного кондиционера, NeuWorld отображает сигналы камеры, референсного изображения и истории в ту же модальность NIS, избегая внешних гетерогенных кодировщиков. Обучаясь с нуля на публичных данных с известными позами без предобученных видеобэкбонов или вспомогательных 3D-реконструкторов, NeuWorld достигает сильной долгосрочной согласованности при благоприятной эффективности инференса.

English

Interactive video generation systems for camera-controlled world exploration roll out growing sequences of latent video frames, entangling state transition with high-frequency observation synthesis. We propose Walking in the Implicit, a scene-centric paradigm that changes the rollout variable from frame latents to a fixed-length, renderable implicit state, termed Neural Implicit Scene (NIS). This factorizes interactive generation into stochastic transition of a compact scene state and deterministic pose-conditioned rendering given the sampled state. We instantiate this paradigm as NeuWorld: a transformer VAE learns locally anchored NIS from sparse posed frames, and a diffusion transformer evolves NIS conditioned on future camera trajectories and geometry-aware retrieved history. By reusing the VAE encoder as a unified conditioner, NeuWorld maps camera, reference-image, and history cues into the same NIS modality, avoiding external heterogeneous encoders. Trained from scratch on public posed-view data without pretrained video backbones or auxiliary 3D reconstructors, NeuWorld achieves strong long-horizon consistency with favorable inference efficiency.