VidPanos: Vídeos Panorâmicos Generativos a partir de Vídeos de Movimento Casual

VidPanos: Generative Panoramic Videos from Casual Panning Videos

October 17, 2024

Autores: Jingwei Ma, Erika Lu, Roni Paiss, Shiran Zada, Aleksander Holynski, Tali Dekel, Brian Curless, Michael Rubinstein, Forrester Cole

cs.AI

Resumo

A junção de imagens panorâmicas fornece uma visão unificada e ampla de uma cena que se estende além do campo de visão da câmera. Unir quadros de um vídeo panorâmico em uma fotografia panorâmica é um problema bem compreendido para cenas estáticas, mas quando objetos estão em movimento, uma panorâmica estática não consegue capturar a cena. Apresentamos um método para sintetizar um vídeo panorâmico a partir de um vídeo panorâmico capturado casualmente, como se o vídeo original tivesse sido capturado com uma câmera de grande angular. Colocamos a síntese de panoramas como um problema de preenchimento espaço-temporal, no qual buscamos criar um vídeo panorâmico completo com a mesma duração do vídeo de entrada. A conclusão consistente do volume espaço-temporal requer uma poderosa e realista priorização sobre o conteúdo de vídeo e movimento, para a qual adaptamos modelos generativos de vídeo. No entanto, modelos generativos existentes não se estendem imediatamente para o preenchimento de panoramas, como demonstramos. Em vez disso, aplicamos a geração de vídeo como um componente de nosso sistema de síntese de panoramas e demonstramos como explorar os pontos fortes dos modelos enquanto minimizamos suas limitações. Nosso sistema pode criar vídeos panorâmicos para uma variedade de cenas naturais, incluindo pessoas, veículos e água em movimento, bem como características de fundo estacionárias.

English

Panoramic image stitching provides a unified, wide-angle view of a scene that extends beyond the camera's field of view. Stitching frames of a panning video into a panoramic photograph is a well-understood problem for stationary scenes, but when objects are moving, a still panorama cannot capture the scene. We present a method for synthesizing a panoramic video from a casually-captured panning video, as if the original video were captured with a wide-angle camera. We pose panorama synthesis as a space-time outpainting problem, where we aim to create a full panoramic video of the same length as the input video. Consistent completion of the space-time volume requires a powerful, realistic prior over video content and motion, for which we adapt generative video models. Existing generative models do not, however, immediately extend to panorama completion, as we show. We instead apply video generation as a component of our panorama synthesis system, and demonstrate how to exploit the strengths of the models while minimizing their limitations. Our system can create video panoramas for a range of in-the-wild scenes including people, vehicles, and flowing water, as well as stationary background features.