MatAnyone: Matting video stabile con propagazione coerente della memoria

MatAnyone: Stable Video Matting with Consistent Memory Propagation

January 24, 2025

Autori: Peiqing Yang, Shangchen Zhou, Jixin Zhao, Qingyi Tao, Chen Change Loy

cs.AI

Abstract

I metodi di video matting umano senza ausiliari, che si basano esclusivamente sui frame di input, spesso faticano con sfondi complessi o ambigui. Per affrontare questo problema, proponiamo MatAnyone, un robusto framework progettato per il video matting assegnato al target. In particolare, basandoci su un paradigma basato sulla memoria, introduciamo un modulo di propagazione della memoria coerente tramite fusione adattativa della memoria regionale, che integra in modo adattivo la memoria dal frame precedente. Questo garantisce stabilità semantica nelle regioni centrali preservando dettagli dettagliati lungo i confini degli oggetti. Per un addestramento robusto, presentiamo un dataset più ampio, di alta qualità e diversificato per il video matting. Inoltre, incorporiamo una nuova strategia di addestramento che sfrutta efficientemente dati di segmentazione su larga scala, potenziando la stabilità del matting. Con questo nuovo design di rete, dataset e strategia di addestramento, MatAnyone offre risultati robusti e precisi di video matting in diverse situazioni del mondo reale, superando i metodi esistenti.

English

Auxiliary-free human video matting methods, which rely solely on input frames, often struggle with complex or ambiguous backgrounds. To address this, we propose MatAnyone, a robust framework tailored for target-assigned video matting. Specifically, building on a memory-based paradigm, we introduce a consistent memory propagation module via region-adaptive memory fusion, which adaptively integrates memory from the previous frame. This ensures semantic stability in core regions while preserving fine-grained details along object boundaries. For robust training, we present a larger, high-quality, and diverse dataset for video matting. Additionally, we incorporate a novel training strategy that efficiently leverages large-scale segmentation data, boosting matting stability. With this new network design, dataset, and training strategy, MatAnyone delivers robust and accurate video matting results in diverse real-world scenarios, outperforming existing methods.