FrozenSeg: Het Afstemmen van Bevroren Fundamentmodellen voor Open-Vocabularium Segmentatie

FrozenSeg: Harmonizing Frozen Foundation Models for Open-Vocabulary Segmentation

September 5, 2024

Auteurs: Xi Chen, Haosen Yang, Sheng Jin, Xiatian Zhu, Hongxun Yao

cs.AI

Samenvatting

Open-vocabulary-segmentatie vormt een aanzienlijke uitdaging, omdat het vereist dat objecten worden gesegmenteerd en herkend in een open set van categorieën binnen onbeperkte omgevingen. Voortbordurend op het succes van krachtige vision-language (ViL) foundation-modellen, zoals CLIP, hebben recente inspanningen gepoogd om hun zero-shot-capaciteiten te benutten om niet-geziene categorieën te herkennen. Ondanks opmerkelijke prestatieverbeteringen, kampen deze modellen nog steeds met het kritieke probleem van het genereren van nauwkeurige maskervoorstellen voor niet-geziene categorieën en scenario's, wat uiteindelijk resulteert in inferieure segmentatieprestaties. Om deze uitdaging aan te pakken, introduceren we een nieuwe aanpak, FrozenSeg, die is ontworpen om ruimtelijke kennis van een localisatie-foundation-model (bijv. SAM) en semantische kennis die is geëxtraheerd uit een ViL-model (bijv. CLIP) te integreren in een synergetisch raamwerk. Door de visuele encoder van het ViL-model als feature-backbone te nemen, injecteren we de ruimtelijk bewuste feature in de leerbare queries en CLIP-features binnen de transformer-decoder. Daarnaast ontwikkelen we een maskervoorstel-ensemble-strategie om de recall-rate en maskerkwaliteit verder te verbeteren. Om vooraf getrainde kennis volledig te benutten terwijl de trainingsoverhead wordt geminimaliseerd, bevriezen we beide foundation-modellen en richten we optimalisatie-inspanningen uitsluitend op een lichtgewicht transformer-decoder voor maskervoorstelgeneratie – het prestatieknelpunt. Uitgebreide experimenten tonen aan dat FrozenSeg state-of-the-art-resultaten behaalt op diverse segmentatiebenchmarks, uitsluitend getraind op COCO panoptische data en getest op een zero-shot-manier. Code is beschikbaar op https://github.com/chenxi52/FrozenSeg.

English

Open-vocabulary segmentation poses significant challenges, as it requires segmenting and recognizing objects across an open set of categories in unconstrained environments. Building on the success of powerful vision-language (ViL) foundation models, such as CLIP, recent efforts sought to harness their zero-short capabilities to recognize unseen categories. Despite notable performance improvements, these models still encounter the critical issue of generating precise mask proposals for unseen categories and scenarios, resulting in inferior segmentation performance eventually. To address this challenge, we introduce a novel approach, FrozenSeg, designed to integrate spatial knowledge from a localization foundation model (e.g., SAM) and semantic knowledge extracted from a ViL model (e.g., CLIP), in a synergistic framework. Taking the ViL model's visual encoder as the feature backbone, we inject the space-aware feature into the learnable queries and CLIP features within the transformer decoder. In addition, we devise a mask proposal ensemble strategy for further improving the recall rate and mask quality. To fully exploit pre-trained knowledge while minimizing training overhead, we freeze both foundation models, focusing optimization efforts solely on a lightweight transformer decoder for mask proposal generation-the performance bottleneck. Extensive experiments demonstrate that FrozenSeg advances state-of-the-art results across various segmentation benchmarks, trained exclusively on COCO panoptic data, and tested in a zero-shot manner. Code is available at https://github.com/chenxi52/FrozenSeg.