Synthèse rapide de vues pour vidéos informelles

Fast View Synthesis of Casual Videos

December 4, 2023

Auteurs: Yao-Chih Lee, Zhoutong Zhang, Kevin Blackburn-Matzen, Simon Niklaus, Jianming Zhang, Jia-Bin Huang, Feng Liu

cs.AI

Résumé

La synthèse de nouvelles vues à partir d'une vidéo en conditions réelles est difficile en raison de défis tels que la dynamique de la scène et le manque de parallaxe. Bien que les méthodes existantes aient montré des résultats prometteurs avec des champs de radiance neuronaux implicites, elles sont lentes à entraîner et à rendre. Cet article revisite les représentations vidéo explicites pour synthétiser efficacement des vues de haute qualité à partir d'une vidéo monoculaire. Nous traitons séparément le contenu statique et dynamique de la vidéo. Plus précisément, nous construisons un modèle global de scène statique en utilisant une représentation de scène basée sur des plans étendue pour synthétiser une vidéo nouvelle et cohérente dans le temps. Notre représentation de scène basée sur des plans est enrichie d'harmoniques sphériques et de cartes de déplacement pour capturer les effets dépendants de la vue et modéliser la géométrie complexe des surfaces non planes. Nous choisissons de représenter le contenu dynamique sous forme de nuages de points par image pour des raisons d'efficacité. Bien que ces représentations soient sujettes à des incohérences, les légères incohérences temporelles sont masquées perceptuellement en raison du mouvement. Nous développons une méthode pour estimer rapidement une telle représentation vidéo hybride et rendre de nouvelles vues en temps réel. Nos expériences montrent que notre méthode peut rendre des vues de haute qualité à partir d'une vidéo en conditions réelles avec une qualité comparable aux méthodes de pointe, tout en étant 100 fois plus rapide à l'entraînement et en permettant un rendu en temps réel.

English

Novel view synthesis from an in-the-wild video is difficult due to challenges like scene dynamics and lack of parallax. While existing methods have shown promising results with implicit neural radiance fields, they are slow to train and render. This paper revisits explicit video representations to synthesize high-quality novel views from a monocular video efficiently. We treat static and dynamic video content separately. Specifically, we build a global static scene model using an extended plane-based scene representation to synthesize temporally coherent novel video. Our plane-based scene representation is augmented with spherical harmonics and displacement maps to capture view-dependent effects and model non-planar complex surface geometry. We opt to represent the dynamic content as per-frame point clouds for efficiency. While such representations are inconsistency-prone, minor temporal inconsistencies are perceptually masked due to motion. We develop a method to quickly estimate such a hybrid video representation and render novel views in real time. Our experiments show that our method can render high-quality novel views from an in-the-wild video with comparable quality to state-of-the-art methods while being 100x faster in training and enabling real-time rendering.