ReferEverything: к сегментации всего, о чем мы можем говорить в видеозаписях

ReferEverything: Towards Segmenting Everything We Can Speak of in Videos

October 30, 2024

Авторы: Anurag Bagchi, Zhipeng Bao, Yu-Xiong Wang, Pavel Tokmakov, Martial Hebert

cs.AI

Аннотация

Мы представляем REM, фреймворк для сегментации широкого спектра концепций в видео, которые могут быть описаны естественным языком. Наш метод основан на визуально-языковых представлениях, полученных моделями диффузии видео на масштабе Интернета. Одним из ключевых принципов нашего подхода является сохранение как можно большей части исходного представления генеративной модели, одновременно настраивая его на узкодоменных наборах данных для сегментации объектов по запросу. В результате наш фреймворк может точно сегментировать и отслеживать редкие и невидимые объекты, несмотря на то, что он обучен на масках объектов из ограниченного набора категорий. Кроме того, он способен обобщаться на динамические концепции, не связанные с объектами, такие как волны, разбивающиеся в океане, как продемонстрировано нашим новым бенчмарком для сегментации видеопроцессов по запросу (Ref-VPS). Наши эксперименты показывают, что REM демонстрирует производительность на уровне с передовыми подходами на внутридоменных наборах данных, таких как Ref-DAVIS, превосходя их на до двенадцать пунктов по сходству регионов на внедоменных данных, используя мощь предварительного обучения на масштабе Интернета.

English

We present REM, a framework for segmenting a wide range of concepts in video that can be described through natural language. Our method capitalizes on visual-language representations learned by video diffusion models on Internet-scale datasets. A key insight of our approach is preserving as much of the generative model's original representation as possible, while fine-tuning it on narrow-domain Referral Object Segmentation datasets. As a result, our framework can accurately segment and track rare and unseen objects, despite being trained on object masks from a limited set of categories. Additionally, it can generalize to non-object dynamic concepts, such as waves crashing in the ocean, as demonstrated in our newly introduced benchmark for Referral Video Process Segmentation (Ref-VPS). Our experiments show that REM performs on par with state-of-the-art approaches on in-domain datasets, like Ref-DAVIS, while outperforming them by up to twelve points in terms of region similarity on out-of-domain data, leveraging the power of Internet-scale pre-training.