CityRAG : Pénétrer dans une ville par la génération vidéo ancrée spatialement
CityRAG: Stepping Into a City via Spatially-Grounded Video Generation
April 21, 2026
Auteurs: Gene Chou, Charles Herrmann, Kyle Genova, Boyang Deng, Songyou Peng, Bharath Hariharan, Jason Y. Zhang, Noah Snavely, Philipp Henzler
cs.AI
Résumé
Nous abordons le problème de la génération d’un environnement navigable en 3D, spatialement ancré : une simulation d’un lieu réel. Les modèles génératifs vidéo existants peuvent produire une séquence plausible cohérente avec une consigne textuelle (T2V) ou une image (I2V). Cependant, la capacité à reconstruire le monde réel sous des conditions météorologiques arbitraires et des configurations dynamiques d’objets est essentielle pour les applications en aval, notamment la conduite autonome et la simulation robotique. Pour cela, nous présentons CityRAG, un modèle génératif vidéo qui exploite de grands corpus de données géolocalisées comme contexte pour ancrer la génération à la scène physique, tout en conservant des a priori appris pour les changements complexes de mouvement et d’apparence. CityRAG s’appuie sur des données d’entraînement non alignées temporellement, ce qui permet au modèle de dissocier sémantiquement la scène sous-jacente de ses attributs transitoires. Nos expériences démontrent que CityRAG peut générer des séquences vidéo cohérentes, physiquement ancrées et de plusieurs minutes, maintenir des conditions météorologiques et d’éclairage sur des milliers d’images, réaliser une fermeture de boucle et naviguer des trajectoires complexes pour reconstruire la géographie du monde réel.
English
We address the problem of generating a 3D-consistent, navigable environment that is spatially grounded: a simulation of a real location. Existing video generative models can produce a plausible sequence that is consistent with a text (T2V) or image (I2V) prompt. However, the capability to reconstruct the real world under arbitrary weather conditions and dynamic object configurations is essential for downstream applications including autonomous driving and robotics simulation. To this end, we present CityRAG, a video generative model that leverages large corpora of geo-registered data as context to ground generation to the physical scene, while maintaining learned priors for complex motion and appearance changes. CityRAG relies on temporally unaligned training data, which teaches the model to semantically disentangle the underlying scene from its transient attributes. Our experiments demonstrate that CityRAG can generate coherent minutes-long, physically grounded video sequences, maintain weather and lighting conditions over thousands of frames, achieve loop closure, and navigate complex trajectories to reconstruct real-world geography.