Fundamentando Modelos de Simulação do Mundo em uma Metrópole do Mundo Real
Grounding World Simulation Models in a Real-World Metropolis
March 16, 2026
Autores: Junyoung Seo, Hyunwook Choi, Minkyung Kwon, Jinhyeok Choi, Siyoon Jin, Gayoung Lee, Junho Kim, JoungBin Lee, Geonmo Gu, Dongyoon Han, Sangdoo Yun, Seungryong Kim, Jin-Hwa Kim
cs.AI
Resumo
E se um modelo de simulação mundial pudesse renderizar não um ambiente imaginado, mas uma cidade que realmente existe? Os modelos generativos mundiais anteriores sintetizam ambientes visualmente plausíveis, porém artificiais, ao imaginar todo o conteúdo. Apresentamos o Seoul World Model (SWM), um modelo mundial em escala de cidade baseado na cidade real de Seul. O SWM ancora a geração autorerregressiva de vídeo por meio de condicionamento aumentado por recuperação de imagens de street view próximas. No entanto, este projeto introduz vários desafios, incluindo o desalinhamento temporal entre as referências recuperadas e a cena dinâmica alvo, diversidade limitada de trajetórias e esparsidade de dados provenientes de capturas montadas em veículos em intervalos esparsos. Abordamos esses desafios através do emparelhamento cross-temporal, um grande conjunto de dados sintéticos que permite trajetórias diversificadas de câmera, e um pipeline de interpolação de visualização que sintetiza vídeos de treinamento coerentes a partir de imagens esparsas de street view. Introduzimos ainda um Virtual Lookahead Sink para estabilizar a geração de longo horizonte, reancorando continuamente cada segmento a uma imagem recuperada de uma localização futura. Avaliamos o SWM em comparação com modelos mundiais de vídeo recentes em três cidades: Seul, Busan e Ann Arbor. O SWM supera os métodos existentes na geração de vídeos espacialmente fiéis, temporalmente consistentes e de longo horizonte, baseados em ambientes urbanos reais, ao longo de trajetórias que atingem centenas de metros, ao mesmo tempo que suporta diversos movimentos de câmera e variações de cenário solicitadas por texto.
English
What if a world simulation model could render not an imagined environment but a city that actually exists? Prior generative world models synthesize visually plausible yet artificial environments by imagining all content. We present Seoul World Model (SWM), a city-scale world model grounded in the real city of Seoul. SWM anchors autoregressive video generation through retrieval-augmented conditioning on nearby street-view images. However, this design introduces several challenges, including temporal misalignment between retrieved references and the dynamic target scene, limited trajectory diversity and data sparsity from vehicle-mounted captures at sparse intervals. We address these challenges through cross-temporal pairing, a large-scale synthetic dataset enabling diverse camera trajectories, and a view interpolation pipeline that synthesizes coherent training videos from sparse street-view images. We further introduce a Virtual Lookahead Sink to stabilize long-horizon generation by continuously re-grounding each chunk to a retrieved image at a future location. We evaluate SWM against recent video world models across three cities: Seoul, Busan, and Ann Arbor. SWM outperforms existing methods in generating spatially faithful, temporally consistent, long-horizon videos grounded in actual urban environments over trajectories reaching hundreds of meters, while supporting diverse camera movements and text-prompted scenario variations.