Caminando en lo implícito: Exploración interactiva del mundo mediante representación neuronal de escenas

Resumen

Los sistemas interactivos de generación de video para la exploración de mundos controlados por cámara producen secuencias crecientes de fotogramas de video latentes, entrelazando la transición de estado con la síntesis de observaciones de alta frecuencia. Proponemos *Caminando en lo Implícito*, un paradigma centrado en la escena que cambia la variable de despliegue de los latentes de fotogramas a un estado implícito representable de longitud fija, denominado Escena Implícita Neuronal (NIS). Esto descompone la generación interactiva en una transición estocástica de un estado de escena compacto y un renderizado determinista condicionado por la pose, dado el estado muestreado. Concretamos este paradigma como NeuWorld: un VAE transformador aprende NIS anclada localmente a partir de fotogramas con pose dispersa, y un transformador de difusión evoluciona la NIS condicionada por trayectorias futuras de cámara e historial recuperado con conciencia geométrica. Al reutilizar el codificador VAE como acondicionador unificado, NeuWorld mapea la cámara, las imágenes de referencia y las señales de historial en la misma modalidad NIS, evitando codificadores externos heterogéneos. Entrenado desde cero con datos públicos de vistas con pose, sin bases de video preentrenadas ni reconstructores 3D auxiliares, NeuWorld logra una fuerte consistencia a largo plazo con una eficiencia de inferencia favorable.

English

Interactive video generation systems for camera-controlled world exploration roll out growing sequences of latent video frames, entangling state transition with high-frequency observation synthesis. We propose Walking in the Implicit, a scene-centric paradigm that changes the rollout variable from frame latents to a fixed-length, renderable implicit state, termed Neural Implicit Scene (NIS). This factorizes interactive generation into stochastic transition of a compact scene state and deterministic pose-conditioned rendering given the sampled state. We instantiate this paradigm as NeuWorld: a transformer VAE learns locally anchored NIS from sparse posed frames, and a diffusion transformer evolves NIS conditioned on future camera trajectories and geometry-aware retrieved history. By reusing the VAE encoder as a unified conditioner, NeuWorld maps camera, reference-image, and history cues into the same NIS modality, avoiding external heterogeneous encoders. Trained from scratch on public posed-view data without pretrained video backbones or auxiliary 3D reconstructors, NeuWorld achieves strong long-horizon consistency with favorable inference efficiency.