ProPainter: 비디오 인페인팅을 위한 전파 및 트랜스포머 개선

ProPainter: Improving Propagation and Transformer for Video Inpainting

September 7, 2023

저자: Shangchen Zhou, Chongyi Li, Kelvin C. K. Chan, Chen Change Loy

cs.AI

초록

플로우 기반 전파와 시공간 트랜스포머는 비디오 인페인팅(VI)에서 두 가지 주류 메커니즘입니다. 이러한 구성 요소들의 효과성에도 불구하고, 여전히 성능에 영향을 미치는 몇 가지 한계점이 존재합니다. 기존의 전파 기반 접근법들은 이미지 도메인 또는 특징 도메인에서 별도로 수행되었습니다. 학습과 분리된 전역 이미지 전파는 부정확한 광학 흐름으로 인해 공간적 불일치를 초래할 수 있습니다. 또한, 메모리나 계산적 제약으로 인해 특징 전파와 비디오 트랜스포머의 시간적 범위가 제한되어, 먼 프레임 간의 대응 정보 탐색이 어렵습니다. 이러한 문제를 해결하기 위해, 우리는 개선된 프레임워크인 ProPainter를 제안합니다. 이는 향상된 전파(ProPagation)와 효율적인 트랜스포머를 포함합니다. 구체적으로, 우리는 이미지 와핑과 특징 와핑의 장점을 결합한 이중 도메인 전파를 도입하여, 전역 대응 정보를 신뢰성 있게 활용합니다. 또한, 마스크 기반 희소 비디오 트랜스포머를 제안하여 불필요하고 중복된 토큰을 제거함으로써 높은 효율성을 달성합니다. 이러한 구성 요소를 통해, ProPainter는 PSNR에서 기존 최신 기술 대비 1.46 dB의 큰 격차로 우수한 성능을 보이면서도 매력적인 효율성을 유지합니다.

English

Flow-based propagation and spatiotemporal Transformer are two mainstream mechanisms in video inpainting (VI). Despite the effectiveness of these components, they still suffer from some limitations that affect their performance. Previous propagation-based approaches are performed separately either in the image or feature domain. Global image propagation isolated from learning may cause spatial misalignment due to inaccurate optical flow. Moreover, memory or computational constraints limit the temporal range of feature propagation and video Transformer, preventing exploration of correspondence information from distant frames. To address these issues, we propose an improved framework, called ProPainter, which involves enhanced ProPagation and an efficient Transformer. Specifically, we introduce dual-domain propagation that combines the advantages of image and feature warping, exploiting global correspondences reliably. We also propose a mask-guided sparse video Transformer, which achieves high efficiency by discarding unnecessary and redundant tokens. With these components, ProPainter outperforms prior arts by a large margin of 1.46 dB in PSNR while maintaining appealing efficiency.