Преобразование видео в маски: сопоставление потоков для сегментации видео с указанием
Deforming Videos to Masks: Flow Matching for Referring Video Segmentation
October 7, 2025
Авторы: Zanyi Wang, Dengyang Jiang, Liuzhuozheng Li, Sizhe Dang, Chengzu Li, Harry Yang, Guang Dai, Mengmeng Wang, Jingdong Wang
cs.AI
Аннотация
Сегментация объектов в видео по текстовому описанию (RVOS) требует выделения конкретных объектов в видео на основе естественного языкового описания. Основная задача RVOS заключается в привязке абстрактных лингвистических концепций к конкретному набору пикселей и их непрерывной сегментации в условиях сложной динамики видео. Столкнувшись с этой трудностью, предыдущие работы часто разбивали задачу на прагматичный конвейер «сначала локализовать, затем сегментировать». Однако такой каскадный подход создает информационное узкое место, упрощая семантику до грубых геометрических подсказок (например, точки), и испытывает трудности с поддержанием временной согласованности, поскольку процесс сегментации часто отделен от первоначальной привязки к языковому описанию. Чтобы преодолеть эти фундаментальные ограничения, мы предлагаем FlowRVS — новую концепцию, которая переосмысливает RVOS как задачу условного непрерывного потока. Это позволяет нам использовать преимущества предобученных моделей текст-видео (T2V), точного управления на уровне пикселей, семантического согласования текста и видео, а также временной согласованности. Вместо традиционного подхода генерации от шума к маске или прямого предсказания маски, мы переформулируем задачу как изучение прямого, управляемого языком преобразования из целостного представления видео в целевую маску. Наш одноэтапный генеративный подход достигает новых рекордных результатов на всех основных бенчмарках RVOS. В частности, мы достигаем показателя J&F 51.1 на MeViS (+1.6 по сравнению с предыдущим SOTA) и 73.3 на Ref-DAVIS17 в режиме zero-shot (+2.7), демонстрируя значительный потенциал моделирования задач понимания видео как процессов непрерывной деформации.
English
Referring Video Object Segmentation (RVOS) requires segmenting specific
objects in a video guided by a natural language description. The core challenge
of RVOS is to anchor abstract linguistic concepts onto a specific set of pixels
and continuously segment them through the complex dynamics of a video. Faced
with this difficulty, prior work has often decomposed the task into a pragmatic
`locate-then-segment' pipeline. However, this cascaded design creates an
information bottleneck by simplifying semantics into coarse geometric prompts
(e.g, point), and struggles to maintain temporal consistency as the segmenting
process is often decoupled from the initial language grounding. To overcome
these fundamental limitations, we propose FlowRVS, a novel framework that
reconceptualizes RVOS as a conditional continuous flow problem. This allows us
to harness the inherent strengths of pretrained T2V models, fine-grained pixel
control, text-video semantic alignment, and temporal coherence. Instead of
conventional generating from noise to mask or directly predicting mask, we
reformulate the task by learning a direct, language-guided deformation from a
video's holistic representation to its target mask. Our one-stage, generative
approach achieves new state-of-the-art results across all major RVOS
benchmarks. Specifically, achieving a J&F of 51.1 in
MeViS (+1.6 over prior SOTA) and 73.3 in the zero shot Ref-DAVIS17 (+2.7),
demonstrating the significant potential of modeling video understanding tasks
as continuous deformation processes.