VidPanos: Generative Panorama-Videos aus spontanen Schwenkvideos

VidPanos: Generative Panoramic Videos from Casual Panning Videos

October 17, 2024

Autoren: Jingwei Ma, Erika Lu, Roni Paiss, Shiran Zada, Aleksander Holynski, Tali Dekel, Brian Curless, Michael Rubinstein, Forrester Cole

cs.AI

Zusammenfassung

Die Panorama-Bildzusammenfügung bietet einen vereinheitlichten, weitwinkligen Blick auf eine Szene, der über das Sichtfeld der Kamera hinausreicht. Das Zusammenfügen von Bildern eines schwenkenden Videos zu einem Panoramafoto ist ein gut verstandenes Problem für stationäre Szenen, aber wenn sich Objekte bewegen, kann eine statische Panoramaaufnahme die Szene nicht einfangen. Wir präsentieren eine Methode zur Synthese eines Panoramavideos aus einem zufällig aufgenommenen Schwenkvideo, als ob das Originalvideo mit einer Weitwinkelkamera aufgenommen worden wäre. Wir stellen die Panoramasynthese als ein Raum-Zeit-Ausmalproblem dar, bei dem wir versuchen, ein vollständiges Panoramavideo mit derselben Länge wie das Eingangsvideo zu erstellen. Eine konsistente Vervollständigung des Raum-Zeit-Volumens erfordert eine leistungsstarke, realistische Voraussetzung über den Videoinhalt und die Bewegung, für die wir generative Videomodelle anpassen. Bestehende generative Modelle lassen sich jedoch nicht unmittelbar auf die Panoramavervollständigung erweitern, wie wir zeigen. Stattdessen wenden wir die Videogenerierung als Komponente unseres Panoramasynthesesystems an und zeigen, wie man die Stärken der Modelle ausnutzen kann, während man ihre Einschränkungen minimiert. Unser System kann Videopanoramen für eine Vielzahl von Szenen in freier Wildbahn erstellen, darunter Menschen, Fahrzeuge und fließendes Wasser sowie stationäre Hintergrundmerkmale.

English

Panoramic image stitching provides a unified, wide-angle view of a scene that extends beyond the camera's field of view. Stitching frames of a panning video into a panoramic photograph is a well-understood problem for stationary scenes, but when objects are moving, a still panorama cannot capture the scene. We present a method for synthesizing a panoramic video from a casually-captured panning video, as if the original video were captured with a wide-angle camera. We pose panorama synthesis as a space-time outpainting problem, where we aim to create a full panoramic video of the same length as the input video. Consistent completion of the space-time volume requires a powerful, realistic prior over video content and motion, for which we adapt generative video models. Existing generative models do not, however, immediately extend to panorama completion, as we show. We instead apply video generation as a component of our panorama synthesis system, and demonstrate how to exploit the strengths of the models while minimizing their limitations. Our system can create video panoramas for a range of in-the-wild scenes including people, vehicles, and flowing water, as well as stationary background features.