스트리트스케이프: 자기회귀적 비디오 확산 모델을 활용한 대규모 일관적 거리 뷰 생성

Streetscapes: Large-scale Consistent Street View Generation Using Autoregressive Video Diffusion

July 18, 2024

저자: Boyang Deng, Richard Tucker, Zhengqi Li, Leonidas Guibas, Noah Snavely, Gordon Wetzstein

cs.AI

초록

우리는 실시간으로 합성된 도시 규모의 장면을 통해 길거리 풍경(Streetscapes)의 긴 시퀀스 뷰를 생성하는 방법을 제시합니다. 우리의 생성은 언어 입력(예: 도시 이름, 날씨)과 원하는 경로를 담고 있는 기본 지도/레이아웃에 의해 조건화됩니다. 최근의 비디오 생성 또는 3D 뷰 합성 모델과 비교할 때, 우리의 방법은 시각적 품질과 일관성을 유지하면서 여러 도시 블록에 걸친 훨씬 더 긴 범위의 카메라 궤적로 확장할 수 있습니다. 이를 달성하기 위해, 우리는 긴 시퀀스로 쉽게 확장할 수 있는 자기회귀 프레임워크 내에서 사용되는 비디오 확산( video diffusion)에 대한 최근 연구를 기반으로 합니다. 특히, 우리는 자기회귀 접근 방식이 현실적인 도시 이미지 분포에서 벗어나는 것을 방지하는 새로운 시간적 보간(temporal imputation) 방법을 도입합니다. 우리는 Streetscapes 시스템을 Google Street View의 포즈된 이미지와 맥락적 지도 데이터라는 매력적인 데이터 소스로 학습시켜, 사용자가 원하는 도시 레이아웃과 제어 가능한 카메라 포즈에 따라 도시 뷰를 생성할 수 있도록 합니다. 더 많은 결과는 프로젝트 페이지(https://boyangdeng.com/streetscapes)에서 확인하실 수 있습니다.

English

We present a method for generating Streetscapes-long sequences of views through an on-the-fly synthesized city-scale scene. Our generation is conditioned by language input (e.g., city name, weather), as well as an underlying map/layout hosting the desired trajectory. Compared to recent models for video generation or 3D view synthesis, our method can scale to much longer-range camera trajectories, spanning several city blocks, while maintaining visual quality and consistency. To achieve this goal, we build on recent work on video diffusion, used within an autoregressive framework that can easily scale to long sequences. In particular, we introduce a new temporal imputation method that prevents our autoregressive approach from drifting from the distribution of realistic city imagery. We train our Streetscapes system on a compelling source of data-posed imagery from Google Street View, along with contextual map data-which allows users to generate city views conditioned on any desired city layout, with controllable camera poses. Please see more results at our project page at https://boyangdeng.com/streetscapes.