OmnimatteRF：3D背景モデリングによるロバストなOmnimatte

OmnimatteRF: Robust Omnimatte with 3D Background Modeling

September 14, 2023

著者: Geng Lin, Chen Gao, Jia-Bin Huang, Changil Kim, Yipeng Wang, Matthias Zwicker, Ayush Saraf

cs.AI

要旨

ビデオマット処理は、カジュアルに撮影された動画に面白い効果を加えることから、ビデオ制作の専門家を支援することまで、幅広い応用があります。影や反射などの関連効果を伴うマット処理も、研究活動が活発化しており、Omnimatteのような手法が提案され、動的な前景オブジェクトを独自のレイヤーに分離することが可能になりました。しかし、従来の研究ではビデオの背景を2D画像レイヤーとして表現しており、より複雑なシーンを表現する能力が制限され、実世界のビデオへの応用が妨げられていました。本論文では、動的な2D前景レイヤーと3D背景モデルを組み合わせた新しいビデオマット処理手法、OmnimatteRFを提案します。2Dレイヤーは被写体の詳細を保持し、3D背景は実世界のビデオにおけるシーンを頑健に再構築します。広範な実験により、本手法が様々なビデオにおいてより高品質なシーン再構築を実現することが示されています。

English

Video matting has broad applications, from adding interesting effects to casually captured movies to assisting video production professionals. Matting with associated effects such as shadows and reflections has also attracted increasing research activity, and methods like Omnimatte have been proposed to separate dynamic foreground objects of interest into their own layers. However, prior works represent video backgrounds as 2D image layers, limiting their capacity to express more complicated scenes, thus hindering application to real-world videos. In this paper, we propose a novel video matting method, OmnimatteRF, that combines dynamic 2D foreground layers and a 3D background model. The 2D layers preserve the details of the subjects, while the 3D background robustly reconstructs scenes in real-world videos. Extensive experiments demonstrate that our method reconstructs scenes with better quality on various videos.