MatAnyone: Matting de Vídeo Estável com Propagação de Memória Consistente

MatAnyone: Stable Video Matting with Consistent Memory Propagation

January 24, 2025

Autores: Peiqing Yang, Shangchen Zhou, Jixin Zhao, Qingyi Tao, Chen Change Loy

cs.AI

Resumo

Métodos de matting de vídeo humano sem auxílio, que dependem exclusivamente de frames de entrada, frequentemente enfrentam dificuldades com fundos complexos ou ambíguos. Para lidar com isso, propomos MatAnyone, um framework robusto desenvolvido para matting de vídeo atribuído ao alvo. Especificamente, baseando-se em um paradigma baseado em memória, introduzimos um módulo de propagação de memória consistente por meio de fusão de memória adaptativa por região, que integra de forma adaptativa a memória do frame anterior. Isso garante estabilidade semântica em regiões centrais, preservando detalhes refinados ao longo das bordas dos objetos. Para um treinamento robusto, apresentamos um conjunto de dados maior, de alta qualidade e diversificado para matting de vídeo. Adicionalmente, incorporamos uma estratégia de treinamento inovadora que alavanca de forma eficiente dados de segmentação em larga escala, impulsionando a estabilidade do matting. Com esse novo design de rede, conjunto de dados e estratégia de treinamento, MatAnyone oferece resultados robustos e precisos de matting de vídeo em diversos cenários do mundo real, superando os métodos existentes.

English

Auxiliary-free human video matting methods, which rely solely on input frames, often struggle with complex or ambiguous backgrounds. To address this, we propose MatAnyone, a robust framework tailored for target-assigned video matting. Specifically, building on a memory-based paradigm, we introduce a consistent memory propagation module via region-adaptive memory fusion, which adaptively integrates memory from the previous frame. This ensures semantic stability in core regions while preserving fine-grained details along object boundaries. For robust training, we present a larger, high-quality, and diverse dataset for video matting. Additionally, we incorporate a novel training strategy that efficiently leverages large-scale segmentation data, boosting matting stability. With this new network design, dataset, and training strategy, MatAnyone delivers robust and accurate video matting results in diverse real-world scenarios, outperforming existing methods.