MatAnyone: Устойчивая видео-матирование с последовательным распространением памяти

MatAnyone: Stable Video Matting with Consistent Memory Propagation

January 24, 2025

Авторы: Peiqing Yang, Shangchen Zhou, Jixin Zhao, Qingyi Tao, Chen Change Loy

cs.AI

Аннотация

Методы видео-выделения без вспомогательных данных, которые полагаются исключительно на входные кадры, часто испытывают трудности с комплексными или неоднозначными фонами. Для решения этой проблемы мы предлагаем MatAnyone, надежную структуру, специально разработанную для видео-выделения с назначением цели. Конкретно, опираясь на парадигму, основанную на памяти, мы представляем модуль последовательного распространения памяти через регион-адаптивное слияние памяти, который адаптивно интегрирует память из предыдущего кадра. Это обеспечивает семантическую стабильность в основных областях, сохраняя детали на границах объектов. Для надежного обучения мы представляем большой, высококачественный и разнообразный набор данных для видео-выделения. Кроме того, мы внедряем новую стратегию обучения, которая эффективно использует данные сегментации большого масштаба, повышая стабильность выделения. Благодаря этому новому дизайну сети, набору данных и стратегии обучения MatAnyone обеспечивает надежные и точные результаты видео-выделения в различных реальных сценариях, превосходя существующие методы.

English

Auxiliary-free human video matting methods, which rely solely on input frames, often struggle with complex or ambiguous backgrounds. To address this, we propose MatAnyone, a robust framework tailored for target-assigned video matting. Specifically, building on a memory-based paradigm, we introduce a consistent memory propagation module via region-adaptive memory fusion, which adaptively integrates memory from the previous frame. This ensures semantic stability in core regions while preserving fine-grained details along object boundaries. For robust training, we present a larger, high-quality, and diverse dataset for video matting. Additionally, we incorporate a novel training strategy that efficiently leverages large-scale segmentation data, boosting matting stability. With this new network design, dataset, and training strategy, MatAnyone delivers robust and accurate video matting results in diverse real-world scenarios, outperforming existing methods.