Síntese Rápida de Visão para Vídeos Casuais

Fast View Synthesis of Casual Videos

December 4, 2023

Autores: Yao-Chih Lee, Zhoutong Zhang, Kevin Blackburn-Matzen, Simon Niklaus, Jianming Zhang, Jia-Bin Huang, Feng Liu

cs.AI

Resumo

A síntese de novas visões a partir de um vídeo capturado em ambiente natural é desafiadora devido a problemas como dinâmica da cena e falta de paralaxe. Embora métodos existentes tenham mostrado resultados promissores com campos de radiação neural implícitos, eles são lentos para treinar e renderizar. Este artigo revisita representações explícitas de vídeo para sintetizar novas visões de alta qualidade a partir de um vídeo monocular de forma eficiente. Tratamos o conteúdo estático e dinâmico do vídeo separadamente. Especificamente, construímos um modelo global de cena estática usando uma representação de cena baseada em planos estendida para sintetizar vídeos novos temporalmente coerentes. Nossa representação de cena baseada em planos é aumentada com harmônicos esféricos e mapas de deslocamento para capturar efeitos dependentes da visão e modelar geometrias complexas de superfícies não planares. Optamos por representar o conteúdo dinâmico como nuvens de pontos por quadro para eficiência. Embora tais representações sejam propensas a inconsistências, pequenas inconsistências temporais são mascaradas perceptualmente devido ao movimento. Desenvolvemos um método para estimar rapidamente essa representação híbrida de vídeo e renderizar novas visões em tempo real. Nossos experimentos mostram que nosso método pode renderizar novas visões de alta qualidade a partir de um vídeo capturado em ambiente natural com qualidade comparável aos métodos state-of-the-art, enquanto é 100x mais rápido no treinamento e permite renderização em tempo real.

English

Novel view synthesis from an in-the-wild video is difficult due to challenges like scene dynamics and lack of parallax. While existing methods have shown promising results with implicit neural radiance fields, they are slow to train and render. This paper revisits explicit video representations to synthesize high-quality novel views from a monocular video efficiently. We treat static and dynamic video content separately. Specifically, we build a global static scene model using an extended plane-based scene representation to synthesize temporally coherent novel video. Our plane-based scene representation is augmented with spherical harmonics and displacement maps to capture view-dependent effects and model non-planar complex surface geometry. We opt to represent the dynamic content as per-frame point clouds for efficiency. While such representations are inconsistency-prone, minor temporal inconsistencies are perceptually masked due to motion. We develop a method to quickly estimate such a hybrid video representation and render novel views in real time. Our experiments show that our method can render high-quality novel views from an in-the-wild video with comparable quality to state-of-the-art methods while being 100x faster in training and enabling real-time rendering.