VidPanos: カジュアルなパンニングビデオから生成されたパノラマビデオ

VidPanos: Generative Panoramic Videos from Casual Panning Videos

October 17, 2024

著者: Jingwei Ma, Erika Lu, Roni Paiss, Shiran Zada, Aleksander Holynski, Tali Dekel, Brian Curless, Michael Rubinstein, Forrester Cole

cs.AI

要旨

パノラマ画像ステッチングは、カメラの視野を超えるシーンの統合された広角ビューを提供します。パンニングビデオのフレームをパノラマ写真にステッチすることは、静止しているシーンに対しては理解されている問題ですが、物体が動いている場合、静止したパノラマではシーンを捉えることができません。私たちは、元のビデオが広角カメラでキャプチャされたかのような、カジュアルにキャプチャされたパンニングビデオからパノラマビデオを合成する方法を提案します。私たちは、パノラマ合成を空間-時間のアウトペインティング問題と位置付け、入力ビデオと同じ長さの完全なパノラマビデオを作成することを目指しています。空間-時間のボリュームの一貫した補完には、ビデオコンテンツと動きに関する強力でリアルな事前知識が必要であり、これには生成的ビデオモデルを適応します。既存の生成モデルは、パノラマの補完に直ちに拡張されるわけではありませんが、私たちが示すように。代わりに、ビデオ生成をパノラマ合成システムの構成要素として適用し、モデルの強みを活用しつつ、その制限を最小限に抑える方法を示します。私たちのシステムは、人物、車両、流れる水、静止した背景要素を含む様々な野外シーンのためのビデオパノラマを作成できます。

English

Panoramic image stitching provides a unified, wide-angle view of a scene that extends beyond the camera's field of view. Stitching frames of a panning video into a panoramic photograph is a well-understood problem for stationary scenes, but when objects are moving, a still panorama cannot capture the scene. We present a method for synthesizing a panoramic video from a casually-captured panning video, as if the original video were captured with a wide-angle camera. We pose panorama synthesis as a space-time outpainting problem, where we aim to create a full panoramic video of the same length as the input video. Consistent completion of the space-time volume requires a powerful, realistic prior over video content and motion, for which we adapt generative video models. Existing generative models do not, however, immediately extend to panorama completion, as we show. We instead apply video generation as a component of our panorama synthesis system, and demonstrate how to exploit the strengths of the models while minimizing their limitations. Our system can create video panoramas for a range of in-the-wild scenes including people, vehicles, and flowing water, as well as stationary background features.