CityRAG: Een Stad Betreden via Ruimtelijk Gegronde Videogeneratie
CityRAG: Stepping Into a City via Spatially-Grounded Video Generation
April 21, 2026
Auteurs: Gene Chou, Charles Herrmann, Kyle Genova, Boyang Deng, Songyou Peng, Bharath Hariharan, Jason Y. Zhang, Noah Snavely, Philipp Henzler
cs.AI
Samenvatting
Wij behandelen het probleem van het genereren van een 3D-consistente, bevaarbare omgeving die ruimtelijk verankerd is: een simulatie van een werkelijke locatie. Bestaande videogeneratieve modellen kunnen een plausibele reeks genereren die consistent is met een tekst- (T2V) of beeldprompt (I2V). Het vermogen om de echte wereld te reconstrueren onder willekeurige weersomstandigheden en dynamische objectconfiguraties is echter essentieel voor downstream-toepassingen, waaronder autonoom rijden en robotsimulatie. Hiertoe presenteren wij CityRAG, een videogeneratief model dat gebruikmaakt van grote corpora van geo-geregistreerde data als context om de generatie te verankeren aan de fysieke scène, terwijl geleerde prioriteiten voor complexe beweging en uiterlijke veranderingen behouden blijven. CityRAG steunt op tijdelijk niet-uitgelijnde trainingsdata, wat het model leert om de onderliggende scène semantisch te ontwarren van zijn tijdelijke attributen. Onze experimenten tonen aan dat CityRAG coherente, minutenlange, fysiek verankerde videosequenties kan genereren, weers- en lichtomstandigheden over duizenden frames kan handhaven, loopclosure kan bereiken en complexe trajecten kan navigeren om werkelijke geografie te reconstrueren.
English
We address the problem of generating a 3D-consistent, navigable environment that is spatially grounded: a simulation of a real location. Existing video generative models can produce a plausible sequence that is consistent with a text (T2V) or image (I2V) prompt. However, the capability to reconstruct the real world under arbitrary weather conditions and dynamic object configurations is essential for downstream applications including autonomous driving and robotics simulation. To this end, we present CityRAG, a video generative model that leverages large corpora of geo-registered data as context to ground generation to the physical scene, while maintaining learned priors for complex motion and appearance changes. CityRAG relies on temporally unaligned training data, which teaches the model to semantically disentangle the underlying scene from its transient attributes. Our experiments demonstrate that CityRAG can generate coherent minutes-long, physically grounded video sequences, maintain weather and lighting conditions over thousands of frames, achieve loop closure, and navigate complex trajectories to reconstruct real-world geography.