Уличные пейзажи: Генерация уличного видео крупного масштаба с использованием авторегрессионной диффузии видео.

Streetscapes: Large-scale Consistent Street View Generation Using Autoregressive Video Diffusion

July 18, 2024

Авторы: Boyang Deng, Richard Tucker, Zhengqi Li, Leonidas Guibas, Noah Snavely, Gordon Wetzstein

cs.AI

Аннотация

Мы представляем метод генерации улиц-длинных последовательностей видов через сцену городского масштаба, синтезируемую на лету. Наша генерация зависит от языкового ввода (например, название города, погода), а также базовой карты/макета, содержащего желаемую траекторию. По сравнению с недавними моделями для генерации видео или синтеза 3D-видов, наш метод может масштабироваться до гораздо более длинных траекторий камеры, охватывающих несколько городских кварталов, сохраняя при этом визуальное качество и последовательность. Для достижения этой цели мы опираемся на недавние работы по диффузии видео, используемые в авторегрессивной структуре, которая легко масштабируется до длинных последовательностей. В частности, мы представляем новый метод временной импутации, который предотвращает отклонение нашего авторегрессивного подхода от распределения реалистичных изображений города. Мы обучаем нашу систему Streetscapes на убедительных данных-изображениях из Google Street View, вместе с контекстуальными картографическими данными, что позволяет пользователям генерировать виды города, зависящие от любого желаемого макета города, с управляемыми позами камеры. Пожалуйста, ознакомьтесь с дополнительными результатами на странице нашего проекта по адресу https://boyangdeng.com/streetscapes.

English

We present a method for generating Streetscapes-long sequences of views through an on-the-fly synthesized city-scale scene. Our generation is conditioned by language input (e.g., city name, weather), as well as an underlying map/layout hosting the desired trajectory. Compared to recent models for video generation or 3D view synthesis, our method can scale to much longer-range camera trajectories, spanning several city blocks, while maintaining visual quality and consistency. To achieve this goal, we build on recent work on video diffusion, used within an autoregressive framework that can easily scale to long sequences. In particular, we introduce a new temporal imputation method that prevents our autoregressive approach from drifting from the distribution of realistic city imagery. We train our Streetscapes system on a compelling source of data-posed imagery from Google Street View, along with contextual map data-which allows users to generate city views conditioned on any desired city layout, with controllable camera poses. Please see more results at our project page at https://boyangdeng.com/streetscapes.