FrozenSeg: Согласование замороженных базовых моделей для сегментации с открытой лексикой

FrozenSeg: Harmonizing Frozen Foundation Models for Open-Vocabulary Segmentation

September 5, 2024

Авторы: Xi Chen, Haosen Yang, Sheng Jin, Xiatian Zhu, Hongxun Yao

cs.AI

Аннотация

Сегментация с открытым словарём представляет значительные трудности, поскольку требует сегментирования и распознавания объектов из открытого набора категорий в неограниченных условиях. Опираясь на успех мощных базовых моделей «компьютерное зрение–естественный язык» (ViL), таких как CLIP, недавние исследования были направлены на использование их возможностей zero-shot для распознавания невидимых категорий. Несмотря на заметное улучшение производительности, эти модели по-прежнему сталкиваются с ключевой проблемой генерации точных предложений масок для невидимых категорий и сценариев, что в конечном итоге приводит к неудовлетворительной производительности сегментации. Для решения этой задачи мы представляем новый подход FrozenSeg, предназначенный для интеграции пространственных знаний из базовой модели локализации (например, SAM) и семантических знаний, извлеченных из ViL-модели (например, CLIP), в синергетическую framework. Используя визуальный энкодер ViL-модели в качестве признакового бэкбона, мы внедряем пространственно-осведомлённые признаки в обучаемые запросы и признаки CLIP внутри трансформерного декодера. Кроме того, мы разрабатываем стратегию ансамбля предложений масок для дальнейшего повышения полноты и качества масок. Чтобы полностью использовать предварительно обученные знания, минимизируя при этом вычислительные затраты на обучение, мы замораживаем обе базовые модели, сосредотачивая усилия по оптимизации исключительно на лёгком трансформерном декодере для генерации предложений масок — узком месте производительности. Многочисленные эксперименты демонстрируют, что FrozenSeg улучшает state-of-the-art результаты на различных бенчмарках сегментации, будучи обученной исключительно на паноптических данных COCO и протестированной в режиме zero-shot. Код доступен по адресу https://github.com/chenxi52/FrozenSeg.

English

Open-vocabulary segmentation poses significant challenges, as it requires segmenting and recognizing objects across an open set of categories in unconstrained environments. Building on the success of powerful vision-language (ViL) foundation models, such as CLIP, recent efforts sought to harness their zero-short capabilities to recognize unseen categories. Despite notable performance improvements, these models still encounter the critical issue of generating precise mask proposals for unseen categories and scenarios, resulting in inferior segmentation performance eventually. To address this challenge, we introduce a novel approach, FrozenSeg, designed to integrate spatial knowledge from a localization foundation model (e.g., SAM) and semantic knowledge extracted from a ViL model (e.g., CLIP), in a synergistic framework. Taking the ViL model's visual encoder as the feature backbone, we inject the space-aware feature into the learnable queries and CLIP features within the transformer decoder. In addition, we devise a mask proposal ensemble strategy for further improving the recall rate and mask quality. To fully exploit pre-trained knowledge while minimizing training overhead, we freeze both foundation models, focusing optimization efforts solely on a lightweight transformer decoder for mask proposal generation-the performance bottleneck. Extensive experiments demonstrate that FrozenSeg advances state-of-the-art results across various segmentation benchmarks, trained exclusively on COCO panoptic data, and tested in a zero-shot manner. Code is available at https://github.com/chenxi52/FrozenSeg.