ReferEverything: Hacia la Segmentación de Todo lo que Podemos Hablar en Videos

ReferEverything: Towards Segmenting Everything We Can Speak of in Videos

October 30, 2024

Autores: Anurag Bagchi, Zhipeng Bao, Yu-Xiong Wang, Pavel Tokmakov, Martial Hebert

cs.AI

Resumen

Presentamos REM, un marco para segmentar una amplia gama de conceptos en video que pueden ser descritos a través de lenguaje natural. Nuestro método se basa en representaciones visual-lingüísticas aprendidas por modelos de difusión de video en conjuntos de datos a escala de Internet. Una idea clave de nuestro enfoque es preservar la mayor parte posible de la representación original del modelo generativo, mientras se ajusta en conjuntos de datos de Segmentación de Objetos de Referencia de dominio estrecho. Como resultado, nuestro marco puede segmentar y rastrear con precisión objetos raros e invisibles, a pesar de ser entrenado en máscaras de objetos de un conjunto limitado de categorías. Además, puede generalizar a conceptos dinámicos no relacionados con objetos, como olas rompiendo en el océano, como se demuestra en nuestro nuevo punto de referencia introducido para la Segmentación de Procesos de Video de Referencia (Ref-VPS). Nuestros experimentos muestran que REM tiene un rendimiento similar a enfoques de vanguardia en conjuntos de datos dentro del dominio, como Ref-DAVIS, mientras los supera hasta en doce puntos en cuanto a similitud de regiones en datos fuera del dominio, aprovechando el poder del preentrenamiento a escala de Internet.

English

We present REM, a framework for segmenting a wide range of concepts in video that can be described through natural language. Our method capitalizes on visual-language representations learned by video diffusion models on Internet-scale datasets. A key insight of our approach is preserving as much of the generative model's original representation as possible, while fine-tuning it on narrow-domain Referral Object Segmentation datasets. As a result, our framework can accurately segment and track rare and unseen objects, despite being trained on object masks from a limited set of categories. Additionally, it can generalize to non-object dynamic concepts, such as waves crashing in the ocean, as demonstrated in our newly introduced benchmark for Referral Video Process Segmentation (Ref-VPS). Our experiments show that REM performs on par with state-of-the-art approaches on in-domain datasets, like Ref-DAVIS, while outperforming them by up to twelve points in terms of region similarity on out-of-domain data, leveraging the power of Internet-scale pre-training.