CityRAG: Einen Schritt in eine Stadt wagen durch räumlich verankerte Videogenerierung
CityRAG: Stepping Into a City via Spatially-Grounded Video Generation
April 21, 2026
Autoren: Gene Chou, Charles Herrmann, Kyle Genova, Boyang Deng, Songyou Peng, Bharath Hariharan, Jason Y. Zhang, Noah Snavely, Philipp Henzler
cs.AI
Zusammenfassung
Wir behandeln das Problem der Erzeugung einer 3D-konsistenten, begehbaren Umgebung, die räumlich verankert ist: eine Simulation eines realen Ortes. Bestehende videogenerative Modelle können eine plausible Sequenz erzeugen, die mit einer Text- (T2V) oder Bildvorgabe (I2V) konsistent ist. Die Fähigkeit, die reale Welt unter beliebigen Wetterbedingungen und dynamischen Objektkonfigurationen zu rekonstruieren, ist jedoch für nachgelagerte Anwendungen wie autonomes Fahren und Robotersimulation von entscheidender Bedeutung. Zu diesem Zweck stellen wir CityRAG vor, ein videogeneratives Modell, das große Korpora georeferenzierter Daten als Kontext nutzt, um die Generierung an der physischen Szene zu verankern, während gleichzeitig erworbene Priors für komplexe Bewegungs- und Erscheinungsänderungen beibehalten werden. CityRAG stützt sich auf zeitlich nicht ausgerichtete Trainingsdaten, die dem Modell beibringen, die zugrundeliegende Szene semantisch von ihren transienten Attributen zu entkoppeln. Unsere Experimente zeigen, dass CityRAG kohärente, minutenlange, physikalisch verankerte Videosequenzen erzeugen, Wetter- und Lichtverhältnisse über Tausende von Frames hinweg aufrechterhalten, Schleifenschluss erreichen und komplexe Trajektorien navigieren kann, um reale Geografie zu rekonstruieren.
English
We address the problem of generating a 3D-consistent, navigable environment that is spatially grounded: a simulation of a real location. Existing video generative models can produce a plausible sequence that is consistent with a text (T2V) or image (I2V) prompt. However, the capability to reconstruct the real world under arbitrary weather conditions and dynamic object configurations is essential for downstream applications including autonomous driving and robotics simulation. To this end, we present CityRAG, a video generative model that leverages large corpora of geo-registered data as context to ground generation to the physical scene, while maintaining learned priors for complex motion and appearance changes. CityRAG relies on temporally unaligned training data, which teaches the model to semantically disentangle the underlying scene from its transient attributes. Our experiments demonstrate that CityRAG can generate coherent minutes-long, physically grounded video sequences, maintain weather and lighting conditions over thousands of frames, achieve loop closure, and navigate complex trajectories to reconstruct real-world geography.