MatAnyone: Stabiele Video Matting met Consistente Geheugenpropagatie

MatAnyone: Stable Video Matting with Consistent Memory Propagation

January 24, 2025

Auteurs: Peiqing Yang, Shangchen Zhou, Jixin Zhao, Qingyi Tao, Chen Change Loy

cs.AI

Samenvatting

Auxiliary-free menselijke video-matting methoden, die uitsluitend vertrouwen op invoerframes, hebben vaak moeite met complexe of dubbelzinnige achtergronden. Om dit aan te pakken, stellen we MatAnyone voor, een robuust framework dat is afgestemd op doelgericht video-matting. Specifiek, voortbouwend op een op geheugen gebaseerd paradigma, introduceren we een consistente geheugenpropagatiemodule via regio-adaptieve geheugenfusie, die adaptief geheugen van het vorige frame integreert. Dit zorgt voor semantische stabiliteit in kernregio's terwijl fijne details langs objectgrenzen behouden blijven. Voor robuuste training presenteren we een grotere, hoogwaardige en diverse dataset voor video-matting. Daarnaast nemen we een nieuw trainingsstrategie op die efficiënt gebruikmaakt van grootschalige segmentatiedata, waardoor de mattingstabiliteit wordt verhoogd. Met deze nieuwe netwerkontwerp, dataset en trainingsstrategie levert MatAnyone robuuste en nauwkeurige video-mattingresultaten op in diverse real-world scenario's, waarbij bestaande methoden worden overtroffen.

English

Auxiliary-free human video matting methods, which rely solely on input frames, often struggle with complex or ambiguous backgrounds. To address this, we propose MatAnyone, a robust framework tailored for target-assigned video matting. Specifically, building on a memory-based paradigm, we introduce a consistent memory propagation module via region-adaptive memory fusion, which adaptively integrates memory from the previous frame. This ensures semantic stability in core regions while preserving fine-grained details along object boundaries. For robust training, we present a larger, high-quality, and diverse dataset for video matting. Additionally, we incorporate a novel training strategy that efficiently leverages large-scale segmentation data, boosting matting stability. With this new network design, dataset, and training strategy, MatAnyone delivers robust and accurate video matting results in diverse real-world scenarios, outperforming existing methods.