Paisagens Urbanas: Geração de Visualizações de Ruas em Grande Escala e Consistentes Utilizando Difusão de Vídeo Autoregressiva.

Streetscapes: Large-scale Consistent Street View Generation Using Autoregressive Video Diffusion

July 18, 2024

Autores: Boyang Deng, Richard Tucker, Zhengqi Li, Leonidas Guibas, Noah Snavely, Gordon Wetzstein

cs.AI

Resumo

Apresentamos um método para gerar Cenários Urbanos - sequências longas de visualizações através de uma cena sintetizada em tempo real em escala de cidade. Nossa geração é condicionada por entrada de linguagem (por exemplo, nome da cidade, clima), bem como um mapa/layout subjacente que hospeda a trajetória desejada. Comparado a modelos recentes para geração de vídeo ou síntese de visualizações 3D, nosso método pode se estender a trajetórias de câmera de alcance muito maior, abrangendo vários quarteirões da cidade, mantendo a qualidade visual e consistência. Para alcançar esse objetivo, baseamo-nos em trabalhos recentes sobre difusão de vídeo, utilizados em um framework autorregressivo que pode facilmente se estender a sequências longas. Em particular, introduzimos um novo método de imputação temporal que impede que nossa abordagem autorregressiva se afaste da distribuição de imagens realistas de cidade. Treinamos nosso sistema Streetscapes em uma fonte convincente de dados - imagens postadas do Google Street View, juntamente com dados de mapas contextuais - o que permite aos usuários gerar visualizações urbanas condicionadas a qualquer layout de cidade desejado, com poses de câmera controláveis. Para mais resultados, consulte nossa página do projeto em https://boyangdeng.com/streetscapes.

English

We present a method for generating Streetscapes-long sequences of views through an on-the-fly synthesized city-scale scene. Our generation is conditioned by language input (e.g., city name, weather), as well as an underlying map/layout hosting the desired trajectory. Compared to recent models for video generation or 3D view synthesis, our method can scale to much longer-range camera trajectories, spanning several city blocks, while maintaining visual quality and consistency. To achieve this goal, we build on recent work on video diffusion, used within an autoregressive framework that can easily scale to long sequences. In particular, we introduce a new temporal imputation method that prevents our autoregressive approach from drifting from the distribution of realistic city imagery. We train our Streetscapes system on a compelling source of data-posed imagery from Google Street View, along with contextual map data-which allows users to generate city views conditioned on any desired city layout, with controllable camera poses. Please see more results at our project page at https://boyangdeng.com/streetscapes.