Déformation de vidéos en masques : Appariement de flux pour la segmentation vidéo référentielle
Deforming Videos to Masks: Flow Matching for Referring Video Segmentation
October 7, 2025
papers.authors: Zanyi Wang, Dengyang Jiang, Liuzhuozheng Li, Sizhe Dang, Chengzu Li, Harry Yang, Guang Dai, Mengmeng Wang, Jingdong Wang
cs.AI
papers.abstract
La segmentation d'objets vidéo par référence (RVOS) nécessite de segmenter des objets spécifiques dans une vidéo guidée par une description en langage naturel. Le défi central de la RVOS consiste à ancrer des concepts linguistiques abstraits sur un ensemble spécifique de pixels et à les segmenter continuellement à travers la dynamique complexe d'une vidéo. Face à cette difficulté, les travaux antérieurs ont souvent décomposé la tâche en un pipeline pragmatique de « localisation puis segmentation ». Cependant, cette conception en cascade crée un goulot d'étranglement informationnel en simplifiant la sémantique en indices géométriques grossiers (par exemple, un point), et peine à maintenir la cohérence temporelle, car le processus de segmentation est souvent découplé de l'ancrage linguistique initial. Pour surmonter ces limitations fondamentales, nous proposons FlowRVS, un nouveau cadre qui reconceptualise la RVOS comme un problème de flux continu conditionnel. Cela nous permet d'exploiter les forces inhérentes des modèles T2V pré-entraînés, le contrôle granulaire des pixels, l'alignement sémantique texte-vidéo et la cohérence temporelle. Au lieu de générer conventionnellement à partir du bruit vers un masque ou de prédire directement un masque, nous reformulons la tâche en apprenant une déformation directe guidée par le langage, allant de la représentation holistique d'une vidéo à son masque cible. Notre approche générative en une seule étape atteint de nouveaux résultats de pointe sur tous les principaux benchmarks de RVOS. Plus précisément, nous obtenons un J&F de 51,1 sur MeViS (+1,6 par rapport au SOTA précédent) et de 73,3 sur Ref-DAVIS17 en zéro-shot (+2,7), démontrant le potentiel significatif de la modélisation des tâches de compréhension vidéo comme des processus de déformation continue.
English
Referring Video Object Segmentation (RVOS) requires segmenting specific
objects in a video guided by a natural language description. The core challenge
of RVOS is to anchor abstract linguistic concepts onto a specific set of pixels
and continuously segment them through the complex dynamics of a video. Faced
with this difficulty, prior work has often decomposed the task into a pragmatic
`locate-then-segment' pipeline. However, this cascaded design creates an
information bottleneck by simplifying semantics into coarse geometric prompts
(e.g, point), and struggles to maintain temporal consistency as the segmenting
process is often decoupled from the initial language grounding. To overcome
these fundamental limitations, we propose FlowRVS, a novel framework that
reconceptualizes RVOS as a conditional continuous flow problem. This allows us
to harness the inherent strengths of pretrained T2V models, fine-grained pixel
control, text-video semantic alignment, and temporal coherence. Instead of
conventional generating from noise to mask or directly predicting mask, we
reformulate the task by learning a direct, language-guided deformation from a
video's holistic representation to its target mask. Our one-stage, generative
approach achieves new state-of-the-art results across all major RVOS
benchmarks. Specifically, achieving a J&F of 51.1 in
MeViS (+1.6 over prior SOTA) and 73.3 in the zero shot Ref-DAVIS17 (+2.7),
demonstrating the significant potential of modeling video understanding tasks
as continuous deformation processes.