Stadtlandschaften: Generierung konsistenter Straßenansichten im großen Maßstab unter Verwendung von autoregressiver Video-Diffusion

Streetscapes: Large-scale Consistent Street View Generation Using Autoregressive Video Diffusion

July 18, 2024

papers.authors: Boyang Deng, Richard Tucker, Zhengqi Li, Leonidas Guibas, Noah Snavely, Gordon Wetzstein

cs.AI

papers.abstract

Wir präsentieren eine Methode zur Generierung von Straßenansichten - lange Sequenzen von Ansichten durch eine on-the-fly synthetisierte stadtweite Szene. Unsere Generierung wird durch sprachliche Eingaben (z. B. Stadtname, Wetter) sowie eine zugrunde liegende Karte/Layout, die die gewünschte Trajektorie beherbergt, bedingt. Im Vergleich zu aktuellen Modellen für die Videogenerierung oder die Synthese von 3D-Ansichten kann unsere Methode auf viel längere Kameratrajektorien skalieren, die mehrere Stadtblöcke umfassen, und dabei die visuelle Qualität und Konsistenz beibehalten. Um dieses Ziel zu erreichen, bauen wir auf aktuellen Arbeiten zur Videodiffusion auf, die innerhalb eines autoregressiven Rahmens verwendet werden, der problemlos auf lange Sequenzen skaliert werden kann. Insbesondere führen wir eine neue zeitliche Imputationsmethode ein, die verhindert, dass unser autoregressiver Ansatz von der Verteilung realistischer Stadtbilder abweicht. Wir trainieren unser Streetscapes-System anhand einer überzeugenden Datenquelle - Bildern von Google Street View, zusammen mit kontextbezogenen Kartendaten - die es Benutzern ermöglichen, stadtbezogene Ansichten basierend auf einem beliebigen gewünschten Stadtlayout mit steuerbaren Kamerapositionen zu generieren. Weitere Ergebnisse finden Sie auf unserer Projektseite unter https://boyangdeng.com/streetscapes.

English

We present a method for generating Streetscapes-long sequences of views through an on-the-fly synthesized city-scale scene. Our generation is conditioned by language input (e.g., city name, weather), as well as an underlying map/layout hosting the desired trajectory. Compared to recent models for video generation or 3D view synthesis, our method can scale to much longer-range camera trajectories, spanning several city blocks, while maintaining visual quality and consistency. To achieve this goal, we build on recent work on video diffusion, used within an autoregressive framework that can easily scale to long sequences. In particular, we introduce a new temporal imputation method that prevents our autoregressive approach from drifting from the distribution of realistic city imagery. We train our Streetscapes system on a compelling source of data-posed imagery from Google Street View, along with contextual map data-which allows users to generate city views conditioned on any desired city layout, with controllable camera poses. Please see more results at our project page at https://boyangdeng.com/streetscapes.