VidPanos: Video Panoramici Generativi da Video di Scorrimento Casuale

VidPanos: Generative Panoramic Videos from Casual Panning Videos

October 17, 2024

Autori: Jingwei Ma, Erika Lu, Roni Paiss, Shiran Zada, Aleksander Holynski, Tali Dekel, Brian Curless, Michael Rubinstein, Forrester Cole

cs.AI

Abstract

L'unione di immagini panoramiche fornisce una visione unificata e ampia di una scena che si estende oltre il campo visivo della fotocamera. Unire i frame di un video panoramico in una fotografia panoramica è un problema ben compreso per scene stazionarie, ma quando gli oggetti si muovono, una panoramica statica non può catturare la scena. Presentiamo un metodo per sintetizzare un video panoramico da un video panoramico ripreso casualmente, come se il video originale fosse stato catturato con una telecamera grandangolare. Poniamo la sintesi della panoramica come un problema di outpainting spazio-temporale, dove miriamo a creare un video panoramico completo della stessa durata del video di input. Il completamento coerente del volume spazio-temporale richiede un potente e realistico prior su contenuti video e movimento, per il quale adattiamo modelli generativi di video. I modelli generativi esistenti, tuttavia, non si estendono immediatamente al completamento della panoramica, come dimostriamo. Applichiamo invece la generazione di video come componente del nostro sistema di sintesi della panoramica e mostriamo come sfruttare i punti di forza dei modelli minimizzando le loro limitazioni. Il nostro sistema può creare video panoramiche per una varietà di scene naturali, tra cui persone, veicoli e acqua in movimento, nonché caratteristiche di sfondo stazionarie.

English

Panoramic image stitching provides a unified, wide-angle view of a scene that extends beyond the camera's field of view. Stitching frames of a panning video into a panoramic photograph is a well-understood problem for stationary scenes, but when objects are moving, a still panorama cannot capture the scene. We present a method for synthesizing a panoramic video from a casually-captured panning video, as if the original video were captured with a wide-angle camera. We pose panorama synthesis as a space-time outpainting problem, where we aim to create a full panoramic video of the same length as the input video. Consistent completion of the space-time volume requires a powerful, realistic prior over video content and motion, for which we adapt generative video models. Existing generative models do not, however, immediately extend to panorama completion, as we show. We instead apply video generation as a component of our panorama synthesis system, and demonstrate how to exploit the strengths of the models while minimizing their limitations. Our system can create video panoramas for a range of in-the-wild scenes including people, vehicles, and flowing water, as well as stationary background features.