Gehen im Impliziten: Interaktive Welterkundung durch neuronale Szenenrepräsentation

Zusammenfassung

Interaktive Videogenerierungssysteme für die kameragesteuerte Welterkundung erzeugen wachsende Sequenzen latenter Videobilder, wobei Zustandsübergänge mit hochfrequenter Beobachtungssynthese verwoben werden. Wir schlagen „Walking in the Implicit“ vor, ein szenenzentriertes Paradigma, das die Rollout-Variable von Frame-Latents auf einen impliziten Zustand fester Länge, der renderbar ist, ändert, der als Neural Implicit Scene (NIS) bezeichnet wird. Dies faktorisiert die interaktive Generierung in einen stochastischen Übergang eines kompakten Szenenzustands und ein deterministisches, posenabhängiges Rendering bei gegebenem abgetasteten Zustand. Wir instanziieren dieses Paradigma als NeuWorld: Ein Transformer-VAE lernt lokal verankerte NIS aus spärlichen, posierten Bildern, und ein Diffusionstransformer evolviert NIS, konditioniert auf zukünftige Kameratrajektorien und geometriebewusst abgerufene Historie. Durch die Wiederverwendung des VAE-Encoders als einheitlicher Konditionierer bildet NeuWorld Kamera-, Referenzbild- und Verlaufshinweise auf dieselbe NIS-Modalität ab und vermeidet so externe heterogene Encoder. Von Grund auf trainiert auf öffentlichen posierten Ansichtsdaten ohne vortrainierte Video-Backbones oder zusätzliche 3D-Rekonstruktoren, erreicht NeuWorld eine starke Konsistenz über lange Horizonte bei günstiger Inferenzeffizienz.

English

Interactive video generation systems for camera-controlled world exploration roll out growing sequences of latent video frames, entangling state transition with high-frequency observation synthesis. We propose Walking in the Implicit, a scene-centric paradigm that changes the rollout variable from frame latents to a fixed-length, renderable implicit state, termed Neural Implicit Scene (NIS). This factorizes interactive generation into stochastic transition of a compact scene state and deterministic pose-conditioned rendering given the sampled state. We instantiate this paradigm as NeuWorld: a transformer VAE learns locally anchored NIS from sparse posed frames, and a diffusion transformer evolves NIS conditioned on future camera trajectories and geometry-aware retrieved history. By reusing the VAE encoder as a unified conditioner, NeuWorld maps camera, reference-image, and history cues into the same NIS modality, avoiding external heterogeneous encoders. Trained from scratch on public posed-view data without pretrained video backbones or auxiliary 3D reconstructors, NeuWorld achieves strong long-horizon consistency with favorable inference efficiency.