FrozenSeg: 개방형 어휘 분할을 위한 고정된 파운데이션 모델 조화

초록

오픈-보컬러리 분할은 제약이 없는 환경에서 열린 범주의 객체들을 분할하고 인식해야 하므로 상당한 어려움을 제기합니다. CLIP과 같은 강력한 비전-언어 기반 모델의 성공에 기반하여, 최근 연구에서는 이러한 모델의 제로샷 능력을 활용하여 보지 못한 범주를 인식하려는 시도가 이루어졌습니다. 주목할 만한 성능 향상에도 불구하고, 이러한 모델들은 여전히 보지 못한 범주와 시나리오에 대해 정밀한 마스크 제안을 생성하는 중요한 문제에 직면하여, 결국 열악한 분할 성능을 초래합니다. 이러한 문제를 해결하기 위해, 우리는 공간 인식 기반 모델(예: SAM)의 공간 지식과 비전-언어 모델(예: CLIP)에서 추출된 의미론적 지식을 시너지 프레임워크 내에서 통합하도록 설계된 새로운 접근법인 FrozenSeg를 소개합니다. 비전-언어 모델의 시각 인코더를 특징 백본으로 사용하여, 우리는 공간 인식 특징을 학습 가능한 쿼리와 트랜스포머 디코더 내의 CLIP 특징에 주입합니다. 추가적으로, 재현율과 마스크 품질을 더욱 향상시키기 위한 마스크 제안 앙상블 전략을 고안합니다. 사전 학습된 지식을 최대한 활용하면서 학습 오버헤드를 최소화하기 위해, 우리는 두 기반 모델을 동결하고 성능 병목 현상인 마스크 제안 생성을 위한 경량 트랜스포머 디코더에만 최적화 노력을 집중합니다. 폭넓은 실험을 통해 FrozenSeg가 COCO 패노픽 데이터만으로 배우고 제로샷 방식으로 테스트되었음에도 다양한 분할 벤치마크에서 최첨단 결과를 달성함을 입증합니다. 코드는 https://github.com/chenxi52/FrozenSeg에서 이용할 수 있습니다.

English

Open-vocabulary segmentation poses significant challenges, as it requires segmenting and recognizing objects across an open set of categories in unconstrained environments. Building on the success of powerful vision-language (ViL) foundation models, such as CLIP, recent efforts sought to harness their zero-short capabilities to recognize unseen categories. Despite notable performance improvements, these models still encounter the critical issue of generating precise mask proposals for unseen categories and scenarios, resulting in inferior segmentation performance eventually. To address this challenge, we introduce a novel approach, FrozenSeg, designed to integrate spatial knowledge from a localization foundation model (e.g., SAM) and semantic knowledge extracted from a ViL model (e.g., CLIP), in a synergistic framework. Taking the ViL model's visual encoder as the feature backbone, we inject the space-aware feature into the learnable queries and CLIP features within the transformer decoder. In addition, we devise a mask proposal ensemble strategy for further improving the recall rate and mask quality. To fully exploit pre-trained knowledge while minimizing training overhead, we freeze both foundation models, focusing optimization efforts solely on a lightweight transformer decoder for mask proposal generation-the performance bottleneck. Extensive experiments demonstrate that FrozenSeg advances state-of-the-art results across various segmentation benchmarks, trained exclusively on COCO panoptic data, and tested in a zero-shot manner. Code is available at https://github.com/chenxi52/FrozenSeg.

FrozenSeg: 개방형 어휘 분할을 위한 고정된 파운데이션 모델 조화

FrozenSeg: Harmonizing Frozen Foundation Models for Open-Vocabulary Segmentation

초록

Support