VidPanos: Генеративные панорамные видео из обычных видео с панорамированием.

VidPanos: Generative Panoramic Videos from Casual Panning Videos

October 17, 2024

Авторы: Jingwei Ma, Erika Lu, Roni Paiss, Shiran Zada, Aleksander Holynski, Tali Dekel, Brian Curless, Michael Rubinstein, Forrester Cole

cs.AI

Аннотация

Сшивка панорамного изображения обеспечивает объединенный широкоугольный вид сцены, выходящий за пределы поля зрения камеры. Сшивка кадров панорамного видео в панорамное фото — хорошо изученная проблема для неподвижных сцен, но когда объекты движутся, статическая панорама не может зафиксировать сцену. Мы представляем метод синтеза панорамного видео из случайно снятого панорамного видео, как если бы оригинальное видео было снято широкоугольной камерой. Мы формулируем синтез панорамы как проблему пространственно-временного восстановления, где наша цель — создать полное панорамное видео той же продолжительности, что и входное видео. Согласованное заполнение пространственно-временного объема требует мощного, реалистичного априорного знания о содержании видео и движении, для чего мы адаптируем генеративные модели видео. Однако существующие генеративные модели не могут немедленно расшириться на завершение панорамы, как мы показываем. Вместо этого мы применяем генерацию видео как компонент нашей системы синтеза панорамы и демонстрируем, как использовать преимущества моделей, минимизируя их ограничения. Наша система способна создавать видео-панорамы для различных сцен "в дикой природе", включая людей, транспортные средства, текущую воду, а также неподвижные фоновые объекты.

English

Panoramic image stitching provides a unified, wide-angle view of a scene that extends beyond the camera's field of view. Stitching frames of a panning video into a panoramic photograph is a well-understood problem for stationary scenes, but when objects are moving, a still panorama cannot capture the scene. We present a method for synthesizing a panoramic video from a casually-captured panning video, as if the original video were captured with a wide-angle camera. We pose panorama synthesis as a space-time outpainting problem, where we aim to create a full panoramic video of the same length as the input video. Consistent completion of the space-time volume requires a powerful, realistic prior over video content and motion, for which we adapt generative video models. Existing generative models do not, however, immediately extend to panorama completion, as we show. We instead apply video generation as a component of our panorama synthesis system, and demonstrate how to exploit the strengths of the models while minimizing their limitations. Our system can create video panoramas for a range of in-the-wild scenes including people, vehicles, and flowing water, as well as stationary background features.