Deformando Vídeos em Máscaras: Correspondência de Fluxo para Segmentação de Vídeo Referencial
Deforming Videos to Masks: Flow Matching for Referring Video Segmentation
October 7, 2025
Autores: Zanyi Wang, Dengyang Jiang, Liuzhuozheng Li, Sizhe Dang, Chengzu Li, Harry Yang, Guang Dai, Mengmeng Wang, Jingdong Wang
cs.AI
Resumo
A Segmentação de Objetos em Vídeo por Referência (RVOS) requer a segmentação de objetos específicos em um vídeo guiada por uma descrição em linguagem natural. O principal desafio do RVOS é ancorar conceitos linguísticos abstratos em um conjunto específico de pixels e segmentá-los continuamente através das dinâmicas complexas de um vídeo. Diante dessa dificuldade, trabalhos anteriores frequentemente decompuseram a tarefa em um pipeline pragmático de `localizar-depois-segmentar`. No entanto, esse design em cascata cria um gargalo de informação ao simplificar a semântica em prompts geométricos grosseiros (por exemplo, um ponto) e luta para manter a consistência temporal, já que o processo de segmentação é frequentemente desacoplado do alinhamento inicial com a linguagem. Para superar essas limitações fundamentais, propomos o FlowRVS, um novo framework que reconceitualiza o RVOS como um problema de fluxo contínuo condicional. Isso nos permite aproveitar os pontos fortes inerentes dos modelos T2V pré-treinados, o controle fino de pixels, o alinhamento semântico texto-vídeo e a coerência temporal. Em vez de gerar convencionalmente do ruído para a máscara ou prever diretamente a máscara, reformulamos a tarefa aprendendo uma deformação direta e guiada por linguagem da representação holística de um vídeo para sua máscara alvo. Nossa abordagem gerativa em estágio único alcança novos resultados state-of-the-art em todos os principais benchmarks de RVOS. Especificamente, obtendo um J&F de 51,1 no MeViS (+1,6 em relação ao SOTA anterior) e 73,3 no Ref-DAVIS17 em zero shot (+2,7), demonstrando o potencial significativo de modelar tarefas de compreensão de vídeo como processos de deformação contínua.
English
Referring Video Object Segmentation (RVOS) requires segmenting specific
objects in a video guided by a natural language description. The core challenge
of RVOS is to anchor abstract linguistic concepts onto a specific set of pixels
and continuously segment them through the complex dynamics of a video. Faced
with this difficulty, prior work has often decomposed the task into a pragmatic
`locate-then-segment' pipeline. However, this cascaded design creates an
information bottleneck by simplifying semantics into coarse geometric prompts
(e.g, point), and struggles to maintain temporal consistency as the segmenting
process is often decoupled from the initial language grounding. To overcome
these fundamental limitations, we propose FlowRVS, a novel framework that
reconceptualizes RVOS as a conditional continuous flow problem. This allows us
to harness the inherent strengths of pretrained T2V models, fine-grained pixel
control, text-video semantic alignment, and temporal coherence. Instead of
conventional generating from noise to mask or directly predicting mask, we
reformulate the task by learning a direct, language-guided deformation from a
video's holistic representation to its target mask. Our one-stage, generative
approach achieves new state-of-the-art results across all major RVOS
benchmarks. Specifically, achieving a J&F of 51.1 in
MeViS (+1.6 over prior SOTA) and 73.3 in the zero shot Ref-DAVIS17 (+2.7),
demonstrating the significant potential of modeling video understanding tasks
as continuous deformation processes.