Schnelle Ansichtssynthese von Casual Videos

Fast View Synthesis of Casual Videos

December 4, 2023

Autoren: Yao-Chih Lee, Zhoutong Zhang, Kevin Blackburn-Matzen, Simon Niklaus, Jianming Zhang, Jia-Bin Huang, Feng Liu

cs.AI

Zusammenfassung

Die Synthese neuer Ansichten aus einem In-the-Wild-Video ist aufgrund von Herausforderungen wie Szenendynamik und mangelnder Parallaxe schwierig. Obwohl bestehende Methoden mit impliziten neuronalen Strahlungsfeldern vielversprechende Ergebnisse gezeigt haben, sind sie langsam in Training und Darstellung. Dieses Papier untersucht explizite Videodarstellungen erneut, um hochwertige neue Ansichten aus einem monokularen Video effizient zu synthetisieren. Wir behandeln statische und dynamische Videoinhalte separat. Insbesondere erstellen wir ein globales statisches Szenenmodell unter Verwendung einer erweiterten, ebenenbasierten Szenendarstellung, um zeitlich kohärente neue Videos zu synthetisieren. Unsere ebenenbasierte Szenendarstellung wird mit sphärischen Harmonischen und Verschiebungskarten erweitert, um sichtabhängige Effekte zu erfassen und nicht-ebene komplexe Oberflächengeometrien zu modellieren. Wir entscheiden uns dafür, den dynamischen Inhalt aus Effizienzgründen als pro-Frame-Punktwolken darzustellen. Obwohl solche Darstellungen anfällig für Inkonsistenzen sind, werden geringfügige zeitliche Inkonsistenzen aufgrund von Bewegung wahrnehmungsmäßig maskiert. Wir entwickeln eine Methode, um eine solche hybride Videodarstellung schnell zu schätzen und neue Ansichten in Echtzeit zu rendern. Unsere Experimente zeigen, dass unsere Methode hochwertige neue Ansichten aus einem In-the-Wild-Video mit vergleichbarer Qualität zu state-of-the-art-Methoden rendern kann, während sie 100x schneller im Training ist und Echtzeit-Rendering ermöglicht.

English

Novel view synthesis from an in-the-wild video is difficult due to challenges like scene dynamics and lack of parallax. While existing methods have shown promising results with implicit neural radiance fields, they are slow to train and render. This paper revisits explicit video representations to synthesize high-quality novel views from a monocular video efficiently. We treat static and dynamic video content separately. Specifically, we build a global static scene model using an extended plane-based scene representation to synthesize temporally coherent novel video. Our plane-based scene representation is augmented with spherical harmonics and displacement maps to capture view-dependent effects and model non-planar complex surface geometry. We opt to represent the dynamic content as per-frame point clouds for efficiency. While such representations are inconsistency-prone, minor temporal inconsistencies are perceptually masked due to motion. We develop a method to quickly estimate such a hybrid video representation and render novel views in real time. Our experiments show that our method can render high-quality novel views from an in-the-wild video with comparable quality to state-of-the-art methods while being 100x faster in training and enabling real-time rendering.