Sintesi Rapida di Visualizzazioni per Video Casuali

Fast View Synthesis of Casual Videos

December 4, 2023

Autori: Yao-Chih Lee, Zhoutong Zhang, Kevin Blackburn-Matzen, Simon Niklaus, Jianming Zhang, Jia-Bin Huang, Feng Liu

cs.AI

Abstract

La sintesi di nuove viste da un video in condizioni reali è difficile a causa di sfide come la dinamicità della scena e la mancanza di parallasse. Sebbene i metodi esistenti abbiano mostrato risultati promettenti con campi di radianza neurali impliciti, sono lenti nell'addestramento e nel rendering. Questo articolo riprende le rappresentazioni video esplicite per sintetizzare in modo efficiente nuove viste di alta qualità da un video monoculare. Trattiamo separatamente il contenuto statico e dinamico del video. Nello specifico, costruiamo un modello globale della scena statica utilizzando una rappresentazione della scena basata su piani estesa per sintetizzare un video coerente temporalmente. La nostra rappresentazione della scena basata su piani è arricchita con armoniche sferiche e mappe di spostamento per catturare effetti dipendenti dalla vista e modellare geometrie superficiali complesse non piane. Optiamo per rappresentare il contenuto dinamico come nuvole di punti per fotogramma per efficienza. Sebbene tali rappresentazioni siano soggette a incoerenze, piccole incoerenze temporali sono mascherate percettivamente a causa del movimento. Sviluppiamo un metodo per stimare rapidamente tale rappresentazione video ibrida e renderizzare nuove viste in tempo reale. I nostri esperimenti mostrano che il nostro metodo può renderizzare nuove viste di alta qualità da un video in condizioni reali con una qualità comparabile ai metodi all'avanguardia, essendo 100 volte più veloce nell'addestramento e consentendo il rendering in tempo reale.

English

Novel view synthesis from an in-the-wild video is difficult due to challenges like scene dynamics and lack of parallax. While existing methods have shown promising results with implicit neural radiance fields, they are slow to train and render. This paper revisits explicit video representations to synthesize high-quality novel views from a monocular video efficiently. We treat static and dynamic video content separately. Specifically, we build a global static scene model using an extended plane-based scene representation to synthesize temporally coherent novel video. Our plane-based scene representation is augmented with spherical harmonics and displacement maps to capture view-dependent effects and model non-planar complex surface geometry. We opt to represent the dynamic content as per-frame point clouds for efficiency. While such representations are inconsistency-prone, minor temporal inconsistencies are perceptually masked due to motion. We develop a method to quickly estimate such a hybrid video representation and render novel views in real time. Our experiments show that our method can render high-quality novel views from an in-the-wild video with comparable quality to state-of-the-art methods while being 100x faster in training and enabling real-time rendering.