Paysages urbains : Génération cohérente à grande échelle de vues de rue par diffusion vidéo autorégressive

Streetscapes: Large-scale Consistent Street View Generation Using Autoregressive Video Diffusion

July 18, 2024

Auteurs: Boyang Deng, Richard Tucker, Zhengqi Li, Leonidas Guibas, Noah Snavely, Gordon Wetzstein

cs.AI

Résumé

Nous présentons une méthode pour générer des séquences longues de paysages urbains (Streetscapes) à travers une scène à l'échelle d'une ville synthétisée à la volée. Notre génération est conditionnée par une entrée linguistique (par exemple, le nom de la ville, la météo), ainsi que par une carte ou un plan sous-jacent hébergeant la trajectoire souhaitée. Par rapport aux modèles récents de génération de vidéos ou de synthèse de vues 3D, notre méthode peut s'adapter à des trajectoires de caméra beaucoup plus longues, couvrant plusieurs pâtés de maisons, tout en maintenant une qualité visuelle et une cohérence élevées. Pour atteindre cet objectif, nous nous appuyons sur des travaux récents en diffusion vidéo, utilisés dans un cadre autorégressif qui peut facilement s'adapter à des séquences longues. En particulier, nous introduisons une nouvelle méthode d'imputation temporelle qui empêche notre approche autorégressive de dériver de la distribution des images réalistes de la ville. Nous entraînons notre système Streetscapes sur une source de données convaincante - des images posées provenant de Google Street View, ainsi que des données cartographiques contextuelles - ce qui permet aux utilisateurs de générer des vues de la ville conditionnées à n'importe quel plan urbain souhaité, avec des poses de caméra contrôlables. Pour plus de résultats, veuillez consulter notre page de projet à l'adresse https://boyangdeng.com/streetscapes.

English

We present a method for generating Streetscapes-long sequences of views through an on-the-fly synthesized city-scale scene. Our generation is conditioned by language input (e.g., city name, weather), as well as an underlying map/layout hosting the desired trajectory. Compared to recent models for video generation or 3D view synthesis, our method can scale to much longer-range camera trajectories, spanning several city blocks, while maintaining visual quality and consistency. To achieve this goal, we build on recent work on video diffusion, used within an autoregressive framework that can easily scale to long sequences. In particular, we introduce a new temporal imputation method that prevents our autoregressive approach from drifting from the distribution of realistic city imagery. We train our Streetscapes system on a compelling source of data-posed imagery from Google Street View, along with contextual map data-which allows users to generate city views conditioned on any desired city layout, with controllable camera poses. Please see more results at our project page at https://boyangdeng.com/streetscapes.