OmnimatteRF: Omnimatte Robusto con Modelado de Fondo en 3D

OmnimatteRF: Robust Omnimatte with 3D Background Modeling

September 14, 2023

Autores: Geng Lin, Chen Gao, Jia-Bin Huang, Changil Kim, Yipeng Wang, Matthias Zwicker, Ayush Saraf

cs.AI

Resumen

El matteo de video tiene amplias aplicaciones, desde agregar efectos interesantes a películas capturadas de manera casual hasta asistir a profesionales de producción de video. El matteo con efectos asociados como sombras y reflejos también ha atraído una creciente actividad de investigación, y se han propuesto métodos como Omnimatte para separar objetos dinámicos de interés en primer plano en sus propias capas. Sin embargo, trabajos anteriores representan los fondos de video como capas de imágenes 2D, lo que limita su capacidad para expresar escenas más complejas, dificultando así su aplicación a videos del mundo real. En este artículo, proponemos un nuevo método de matteo de video, OmnimatteRF, que combina capas dinámicas 2D en primer plano y un modelo de fondo 3D. Las capas 2D preservan los detalles de los sujetos, mientras que el fondo 3D reconstruye de manera robusta las escenas en videos del mundo real. Experimentos extensos demuestran que nuestro método reconstruye escenas con mejor calidad en diversos videos.

English

Video matting has broad applications, from adding interesting effects to casually captured movies to assisting video production professionals. Matting with associated effects such as shadows and reflections has also attracted increasing research activity, and methods like Omnimatte have been proposed to separate dynamic foreground objects of interest into their own layers. However, prior works represent video backgrounds as 2D image layers, limiting their capacity to express more complicated scenes, thus hindering application to real-world videos. In this paper, we propose a novel video matting method, OmnimatteRF, that combines dynamic 2D foreground layers and a 3D background model. The 2D layers preserve the details of the subjects, while the 3D background robustly reconstructs scenes in real-world videos. Extensive experiments demonstrate that our method reconstructs scenes with better quality on various videos.