Videos vervormen naar maskers: Flow Matching voor Refererende Video Segmentatie

Deforming Videos to Masks: Flow Matching for Referring Video Segmentation

October 7, 2025

Auteurs: Zanyi Wang, Dengyang Jiang, Liuzhuozheng Li, Sizhe Dang, Chengzu Li, Harry Yang, Guang Dai, Mengmeng Wang, Jingdong Wang

cs.AI

Samenvatting

Referring Video Object Segmentation (RVOS) vereist het segmenteren van specifieke objecten in een video aan de hand van een beschrijving in natuurlijke taal. De kernuitdaging van RVOS is het verankeren van abstracte linguïstische concepten aan een specifieke set pixels en deze continu te segmenteren doorheen de complexe dynamiek van een video. Geconfronteerd met deze moeilijkheid hebben eerdere werken de taak vaak opgedeeld in een pragmatische `locate-then-segment'-pipeline. Deze gecascadeerde aanpak creëert echter een informatieknelpunt door semantiek te vereenvoudigen tot grove geometrische prompts (bijv. een punt), en heeft moeite om temporele consistentie te behouden, aangezien het segmentatieproces vaak losstaat van de initiële taalverankering. Om deze fundamentele beperkingen te overwinnen, stellen we FlowRVS voor, een nieuw framework dat RVOS herconceptualiseert als een conditioneel continu stromingsprobleem. Hierdoor kunnen we de inherente sterktes van voorgetrainde T2V-modellen benutten, zoals fijnmazige pixelcontrole, tekst-video semantische uitlijning en temporele samenhang. In plaats van conventioneel te genereren van ruis naar masker of direct een masker te voorspellen, herformuleren we de taak door een directe, taalgestuurde vervorming te leren van de holistische representatie van een video naar het doelmasker. Onze éénstaps, generatieve aanpak behaalt nieuwe state-of-the-art resultaten op alle belangrijke RVOS-benchmarks. Specifiek behalen we een J&F van 51.1 op MeViS (+1.6 ten opzichte van de vorige SOTA) en 73.3 op de zero-shot Ref-DAVIS17 (+2.7), wat het significante potentieel aantoont van het modelleren van videobegripstaken als continue vervormingsprocessen.

English

Referring Video Object Segmentation (RVOS) requires segmenting specific objects in a video guided by a natural language description. The core challenge of RVOS is to anchor abstract linguistic concepts onto a specific set of pixels and continuously segment them through the complex dynamics of a video. Faced with this difficulty, prior work has often decomposed the task into a pragmatic `locate-then-segment' pipeline. However, this cascaded design creates an information bottleneck by simplifying semantics into coarse geometric prompts (e.g, point), and struggles to maintain temporal consistency as the segmenting process is often decoupled from the initial language grounding. To overcome these fundamental limitations, we propose FlowRVS, a novel framework that reconceptualizes RVOS as a conditional continuous flow problem. This allows us to harness the inherent strengths of pretrained T2V models, fine-grained pixel control, text-video semantic alignment, and temporal coherence. Instead of conventional generating from noise to mask or directly predicting mask, we reformulate the task by learning a direct, language-guided deformation from a video's holistic representation to its target mask. Our one-stage, generative approach achieves new state-of-the-art results across all major RVOS benchmarks. Specifically, achieving a J&F of 51.1 in MeViS (+1.6 over prior SOTA) and 73.3 in the zero shot Ref-DAVIS17 (+2.7), demonstrating the significant potential of modeling video understanding tasks as continuous deformation processes.