OmnimatteRF: 3D 배경 모델링을 통한 강력한 Omnimatte
OmnimatteRF: Robust Omnimatte with 3D Background Modeling
September 14, 2023
저자: Geng Lin, Chen Gao, Jia-Bin Huang, Changil Kim, Yipeng Wang, Matthias Zwicker, Ayush Saraf
cs.AI
초록
비디오 매팅(matteing)은 캐주얼하게 촬영한 영상에 흥미로운 효과를 추가하는 것부터 전문가용 비디오 제작을 지원하는 것까지 다양한 응용 분야를 가지고 있습니다. 그림자와 반사와 같은 관련 효과를 포함한 매팅 또한 점점 더 많은 연구 활동을 끌어모으고 있으며, Omnimatte와 같은 방법들이 동적인 전경 객체를 별도의 레이어로 분리하기 위해 제안되었습니다. 그러나 기존 연구들은 비디오 배경을 2D 이미지 레이어로 표현함으로써 더 복잡한 장면을 표현하는 데 한계가 있었고, 이는 실제 비디오에 적용하는 것을 방해했습니다. 본 논문에서는 동적인 2D 전경 레이어와 3D 배경 모델을 결합한 새로운 비디오 매팅 방법인 OmnimatteRF를 제안합니다. 2D 레이어는 피사체의 세부 사항을 보존하는 반면, 3D 배경은 실제 비디오의 장면을 견고하게 재구성합니다. 다양한 비디오에 대한 광범위한 실험을 통해 우리의 방법이 더 나은 품질로 장면을 재구성함을 입증했습니다.
English
Video matting has broad applications, from adding interesting effects to
casually captured movies to assisting video production professionals. Matting
with associated effects such as shadows and reflections has also attracted
increasing research activity, and methods like Omnimatte have been proposed to
separate dynamic foreground objects of interest into their own layers. However,
prior works represent video backgrounds as 2D image layers, limiting their
capacity to express more complicated scenes, thus hindering application to
real-world videos. In this paper, we propose a novel video matting method,
OmnimatteRF, that combines dynamic 2D foreground layers and a 3D background
model. The 2D layers preserve the details of the subjects, while the 3D
background robustly reconstructs scenes in real-world videos. Extensive
experiments demonstrate that our method reconstructs scenes with better quality
on various videos.