FrozenSeg : Harmoniser des modèles de fondation figés pour la segmentation en vocabulaire ouvert

FrozenSeg: Harmonizing Frozen Foundation Models for Open-Vocabulary Segmentation

September 5, 2024

papers.authors: Xi Chen, Haosen Yang, Sheng Jin, Xiatian Zhu, Hongxun Yao

cs.AI

papers.abstract

La segmentation à vocabulaire ouvert présente des défis significatifs, car elle nécessite de segmenter et de reconnaître des objets dans un ensemble ouvert de catégories, et ce dans des environnements non contraints. S'appuyant sur le succès de modèles de fondation vision-langage (ViL) puissants comme CLIP, des efforts récents ont cherché à exploiter leurs capacités de généralisation zero-shot pour reconnaître des catégories non vues. Malgré des améliorations de performances notables, ces modèles rencontrent toujours le problème critique de générer des propositions de masques précises pour des catégories et des scénarios non vus, ce qui se solde finalement par des performances de segmentation inférieures. Pour relever ce défi, nous présentons une nouvelle approche, FrozenSeg, conçue pour intégrer de manière synergique les connaissances spatiales d'un modèle de fondation de localisation (par exemple, SAM) et les connaissances sémantiques extraites d'un modèle ViL (par exemple, CLIP), dans un cadre synergique. En prenant l'encodeur visuel du modèle ViL comme backbone de caractéristiques, nous injectons les caractéristiques spatialement conscientes dans les requêtes entraînables et les caractéristiques CLIP au sein du décodeur transformer. De plus, nous concevons une stratégie d'ensemble de propositions de masques pour améliorer davantage le taux de rappel et la qualité des masques. Pour exploiter pleinement les connaissances pré-entraînées tout en minimisant la surcharge d'entraînement, nous gelons les deux modèles de fondation, en concentrant les efforts d'optimisation uniquement sur un décodeur transformer léger pour la génération de propositions de masques - le goulot d'étranglement des performances. Des expériences approfondies démontrent que FrozenSeg améliore les résultats de l'état de l'art sur divers benchmarks de segmentation, étant entraîné exclusivement sur les données panoptiques de COCO et testé de manière zero-shot. Le code est disponible à l'adresse https://github.com/chenxi52/FrozenSeg.

English

Open-vocabulary segmentation poses significant challenges, as it requires segmenting and recognizing objects across an open set of categories in unconstrained environments. Building on the success of powerful vision-language (ViL) foundation models, such as CLIP, recent efforts sought to harness their zero-short capabilities to recognize unseen categories. Despite notable performance improvements, these models still encounter the critical issue of generating precise mask proposals for unseen categories and scenarios, resulting in inferior segmentation performance eventually. To address this challenge, we introduce a novel approach, FrozenSeg, designed to integrate spatial knowledge from a localization foundation model (e.g., SAM) and semantic knowledge extracted from a ViL model (e.g., CLIP), in a synergistic framework. Taking the ViL model's visual encoder as the feature backbone, we inject the space-aware feature into the learnable queries and CLIP features within the transformer decoder. In addition, we devise a mask proposal ensemble strategy for further improving the recall rate and mask quality. To fully exploit pre-trained knowledge while minimizing training overhead, we freeze both foundation models, focusing optimization efforts solely on a lightweight transformer decoder for mask proposal generation-the performance bottleneck. Extensive experiments demonstrate that FrozenSeg advances state-of-the-art results across various segmentation benchmarks, trained exclusively on COCO panoptic data, and tested in a zero-shot manner. Code is available at https://github.com/chenxi52/FrozenSeg.