Snelle weergavesynthese van informele video's

Fast View Synthesis of Casual Videos

December 4, 2023

Auteurs: Yao-Chih Lee, Zhoutong Zhang, Kevin Blackburn-Matzen, Simon Niklaus, Jianming Zhang, Jia-Bin Huang, Feng Liu

cs.AI

Samenvatting

Het synthetiseren van nieuwe aanzichten vanuit een video in de echte wereld is uitdagend vanwege problemen zoals scènedynamiek en een gebrek aan parallax. Hoewel bestaande methoden veelbelovende resultaten hebben laten zien met impliciete neurale stralingsvelden, zijn ze traag om te trainen en te renderen. Dit artikel heronderzoekt expliciete videorepresentaties om hoogwaardige nieuwe aanzichten efficiënt te synthetiseren vanuit een monoscopische video. We behandelen statische en dynamische video-inhoud afzonderlijk. Specifiek bouwen we een globaal statisch scènemodel met behulp van een uitgebreide op vlakken gebaseerde scèneweergave om temporeel coherente nieuwe video's te synthetiseren. Onze op vlakken gebaseerde scèneweergave is uitgebreid met sferische harmonischen en verplaatsingskaarten om afhankelijke effecten te vangen en complexe niet-vlakke oppervlaktegeometrie te modelleren. We kiezen ervoor om de dynamische inhoud efficiënt weer te geven als puntenwolken per frame. Hoewel dergelijke representaties gevoelig zijn voor inconsistenties, worden kleine temporele inconsistenties perceptueel gemaskeerd door beweging. We ontwikkelen een methode om snel zo'n hybride videorepresentatie te schatten en nieuwe aanzichten in realtime te renderen. Onze experimenten tonen aan dat onze methode hoogwaardige nieuwe aanzichten kan renderen vanuit een video in de echte wereld met een vergelijkbare kwaliteit als state-of-the-art methoden, terwijl het 100x sneller is in training en realtime rendering mogelijk maakt.

English

Novel view synthesis from an in-the-wild video is difficult due to challenges like scene dynamics and lack of parallax. While existing methods have shown promising results with implicit neural radiance fields, they are slow to train and render. This paper revisits explicit video representations to synthesize high-quality novel views from a monocular video efficiently. We treat static and dynamic video content separately. Specifically, we build a global static scene model using an extended plane-based scene representation to synthesize temporally coherent novel video. Our plane-based scene representation is augmented with spherical harmonics and displacement maps to capture view-dependent effects and model non-planar complex surface geometry. We opt to represent the dynamic content as per-frame point clouds for efficiency. While such representations are inconsistency-prone, minor temporal inconsistencies are perceptually masked due to motion. We develop a method to quickly estimate such a hybrid video representation and render novel views in real time. Our experiments show that our method can render high-quality novel views from an in-the-wild video with comparable quality to state-of-the-art methods while being 100x faster in training and enabling real-time rendering.