Síntesis Rápida de Vistas en Videos Casuales

Fast View Synthesis of Casual Videos

December 4, 2023

Autores: Yao-Chih Lee, Zhoutong Zhang, Kevin Blackburn-Matzen, Simon Niklaus, Jianming Zhang, Jia-Bin Huang, Feng Liu

cs.AI

Resumen

La síntesis de nuevas vistas a partir de un video en condiciones naturales es un desafío debido a problemas como la dinámica de la escena y la falta de paralaje. Aunque los métodos existentes han mostrado resultados prometedores con campos de radiancia neurales implícitos, son lentos para entrenar y renderizar. Este artículo revisa las representaciones explícitas de video para sintetizar eficientemente vistas novedosas de alta calidad a partir de un video monocular. Tratamos el contenido estático y dinámico del video por separado. Específicamente, construimos un modelo global de escena estática utilizando una representación extendida basada en planos para sintetizar video novedoso temporalmente coherente. Nuestra representación de escena basada en planos se complementa con armónicos esféricos y mapas de desplazamiento para capturar efectos dependientes de la vista y modelar geometrías de superficie complejas no planas. Optamos por representar el contenido dinámico como nubes de puntos por fotograma para mayor eficiencia. Aunque tales representaciones son propensas a inconsistencias, las pequeñas inconsistencias temporales se enmascaran perceptualmente debido al movimiento. Desarrollamos un método para estimar rápidamente esta representación híbrida de video y renderizar nuevas vistas en tiempo real. Nuestros experimentos muestran que nuestro método puede renderizar vistas novedosas de alta calidad a partir de un video en condiciones naturales con una calidad comparable a los métodos más avanzados, siendo 100 veces más rápido en entrenamiento y permitiendo renderizado en tiempo real.

English

Novel view synthesis from an in-the-wild video is difficult due to challenges like scene dynamics and lack of parallax. While existing methods have shown promising results with implicit neural radiance fields, they are slow to train and render. This paper revisits explicit video representations to synthesize high-quality novel views from a monocular video efficiently. We treat static and dynamic video content separately. Specifically, we build a global static scene model using an extended plane-based scene representation to synthesize temporally coherent novel video. Our plane-based scene representation is augmented with spherical harmonics and displacement maps to capture view-dependent effects and model non-planar complex surface geometry. We opt to represent the dynamic content as per-frame point clouds for efficiency. While such representations are inconsistency-prone, minor temporal inconsistencies are perceptually masked due to motion. We develop a method to quickly estimate such a hybrid video representation and render novel views in real time. Our experiments show that our method can render high-quality novel views from an in-the-wild video with comparable quality to state-of-the-art methods while being 100x faster in training and enabling real-time rendering.