Parcourir l'Implicite : Exploration Interactive du Monde par Représentation Neuronale de Scène

Résumé

Les systèmes de génération vidéo interactive pour l'exploration de mondes contrôlée par caméra déploient des séquences croissantes de trames vidéo latentes, entremêlant la transition d'état avec la synthèse d'observation haute fréquence. Nous proposons *Walking in the Implicit*, un paradigme centré sur la scène qui transforme la variable de déploiement de trames latentes en un état implicite renderisable de longueur fixe, appelé Scène Implicite Neuronale (NIS). Cela factorise la génération interactive en une transition stochastique d'un état de scène compact et un rendu déterministe conditionné par la pose, à partir de l'état échantillonné. Nous concrétisons ce paradigme avec NeuWorld : un VAE transformeur apprend une NIS ancrée localement à partir de vues posées éparses, et un transformeur de diffusion fait évoluer la NIS conditionnée par les trajectoires futures de la caméra et un historique récupéré avec une prise en compte de la géométrie. En réutilisant l'encodeur VAE comme conditionneur unifié, NeuWorld projette les indices de la caméra, de l'image de référence et de l'historique dans la même modalité NIS, évitant ainsi des encodeurs hétérogènes externes. Entraîné de zéro sur des données de vues posées publiques sans backbone vidéo pré-entraîné ni reconstructeur 3D auxiliaire, NeuWorld atteint une forte cohérence à long terme avec une efficacité d'inférence favorable.

English

Interactive video generation systems for camera-controlled world exploration roll out growing sequences of latent video frames, entangling state transition with high-frequency observation synthesis. We propose Walking in the Implicit, a scene-centric paradigm that changes the rollout variable from frame latents to a fixed-length, renderable implicit state, termed Neural Implicit Scene (NIS). This factorizes interactive generation into stochastic transition of a compact scene state and deterministic pose-conditioned rendering given the sampled state. We instantiate this paradigm as NeuWorld: a transformer VAE learns locally anchored NIS from sparse posed frames, and a diffusion transformer evolves NIS conditioned on future camera trajectories and geometry-aware retrieved history. By reusing the VAE encoder as a unified conditioner, NeuWorld maps camera, reference-image, and history cues into the same NIS modality, avoiding external heterogeneous encoders. Trained from scratch on public posed-view data without pretrained video backbones or auxiliary 3D reconstructors, NeuWorld achieves strong long-horizon consistency with favorable inference efficiency.