Быстрый синтез видов для случайных видеозаписей

Fast View Synthesis of Casual Videos

December 4, 2023

Авторы: Yao-Chih Lee, Zhoutong Zhang, Kevin Blackburn-Matzen, Simon Niklaus, Jianming Zhang, Jia-Bin Huang, Feng Liu

cs.AI

Аннотация

Синтез новых ракурсов из видео, снятого в естественных условиях, является сложной задачей из-за таких проблем, как динамика сцены и отсутствие параллакса. Хотя существующие методы демонстрируют впечатляющие результаты с использованием неявных нейронных полей излучения, они требуют длительного времени для обучения и рендеринга. В данной работе мы возвращаемся к явным представлениям видео для эффективного синтеза высококачественных новых ракурсов из монохромного видео. Мы разделяем статическое и динамическое содержимое видео. В частности, мы строим глобальную модель статической сцены с использованием расширенного плоскостного представления сцены для синтеза временно согласованного нового видео. Наше плоскостное представление сцены дополнено сферическими гармониками и картами смещений для учета эффектов, зависящих от угла обзора, и моделирования сложной геометрии не плоских поверхностей. Для эффективности мы представляем динамическое содержимое в виде облаков точек для каждого кадра. Хотя такие представления склонны к временной несогласованности, незначительные временные несоответствия визуально маскируются из-за движения. Мы разрабатываем метод для быстрого оценивания такого гибридного представления видео и рендеринга новых ракурсов в реальном времени. Наши эксперименты показывают, что наш метод способен рендерить высококачественные новые ракурсы из видео, снятого в естественных условиях, с качеством, сопоставимым с современными методами, при этом он в 100 раз быстрее в обучении и позволяет выполнять рендеринг в реальном времени.

English

Novel view synthesis from an in-the-wild video is difficult due to challenges like scene dynamics and lack of parallax. While existing methods have shown promising results with implicit neural radiance fields, they are slow to train and render. This paper revisits explicit video representations to synthesize high-quality novel views from a monocular video efficiently. We treat static and dynamic video content separately. Specifically, we build a global static scene model using an extended plane-based scene representation to synthesize temporally coherent novel video. Our plane-based scene representation is augmented with spherical harmonics and displacement maps to capture view-dependent effects and model non-planar complex surface geometry. We opt to represent the dynamic content as per-frame point clouds for efficiency. While such representations are inconsistency-prone, minor temporal inconsistencies are perceptually masked due to motion. We develop a method to quickly estimate such a hybrid video representation and render novel views in real time. Our experiments show that our method can render high-quality novel views from an in-the-wild video with comparable quality to state-of-the-art methods while being 100x faster in training and enabling real-time rendering.