VidPanos : Vidéos panoramiques génératives à partir de vidéos de panoramique occasionnelles

VidPanos: Generative Panoramic Videos from Casual Panning Videos

October 17, 2024

Auteurs: Jingwei Ma, Erika Lu, Roni Paiss, Shiran Zada, Aleksander Holynski, Tali Dekel, Brian Curless, Michael Rubinstein, Forrester Cole

cs.AI

Résumé

L'assemblage d'images panoramiques fournit une vue unifiée et grand angle d'une scène qui dépasse le champ de vision de la caméra. Assembler des images d'une vidéo panoramique en une photographie panoramique est un problème bien compris pour les scènes stationnaires, mais lorsque des objets sont en mouvement, une panorama fixe ne peut pas capturer la scène. Nous présentons une méthode pour synthétiser une vidéo panoramique à partir d'une vidéo panoramique capturée de manière informelle, comme si la vidéo originale avait été capturée avec une caméra grand angle. Nous posons la synthèse de panorama comme un problème de peinture hors champ espace-temps, où nous visons à créer une vidéo panoramique complète de la même durée que la vidéo d'entrée. Une complétion cohérente du volume espace-temps nécessite une forte et réaliste connaissance a priori du contenu vidéo et du mouvement, pour laquelle nous adaptons des modèles vidéo génératifs. Cependant, les modèles génératifs existants ne s'étendent pas immédiatement à la complétion panoramique, comme nous le montrons. Nous appliquons plutôt la génération vidéo en tant que composante de notre système de synthèse de panorama, et démontrons comment exploiter les forces des modèles tout en minimisant leurs limitations. Notre système peut créer des panoramas vidéo pour une gamme de scènes en extérieur comprenant des personnes, des véhicules, de l'eau en mouvement, ainsi que des éléments de fond stationnaires.

English

Panoramic image stitching provides a unified, wide-angle view of a scene that extends beyond the camera's field of view. Stitching frames of a panning video into a panoramic photograph is a well-understood problem for stationary scenes, but when objects are moving, a still panorama cannot capture the scene. We present a method for synthesizing a panoramic video from a casually-captured panning video, as if the original video were captured with a wide-angle camera. We pose panorama synthesis as a space-time outpainting problem, where we aim to create a full panoramic video of the same length as the input video. Consistent completion of the space-time volume requires a powerful, realistic prior over video content and motion, for which we adapt generative video models. Existing generative models do not, however, immediately extend to panorama completion, as we show. We instead apply video generation as a component of our panorama synthesis system, and demonstrate how to exploit the strengths of the models while minimizing their limitations. Our system can create video panoramas for a range of in-the-wild scenes including people, vehicles, and flowing water, as well as stationary background features.