원격 감지 이미지에서 강력한 클라우드 분할을 위한 비전 기반 모델의 적응

Adapting Vision Foundation Models for Robust Cloud Segmentation in Remote Sensing Images

November 20, 2024

저자: Xuechao Zou, Shun Zhang, Kai Li, Shiying Wang, Junliang Xing, Lei Jin, Congyan Lang, Pin Tao

cs.AI

초록

원격 감지 이미지 해석에서 구름 분할은 중요한 과제로, 정확성은 후속 데이터 처리 및 분석의 효과에 직접적으로 영향을 미칩니다. 최근에는 시각 기반 모델(VFM)이 다양한 시각 작업에서 강력한 일반화 능력을 보여주었습니다. 본 논문에서는 Cloud-Adapter라는 매개 변수 효율적인 적응 접근 방식을 제안하여 구름 분할의 정확성과 견고성을 향상시키는 방법을 제시합니다. 우리의 방법은 일반 도메인 데이터에 사전 학습된 VFM을 활용하며, 추가적인 학습이 필요하지 않도록 동결됩니다. Cloud-Adapter는 가벼운 공간 인식 모듈을 통합하며, 초기에는 합성곱 신경망(ConvNet)을 사용하여 밀집한 공간 표현을 추출합니다. 이러한 다중 스케일 특징은 집계되어 적응 모듈에 문맥적 입력으로 제공되며, 이 모듈은 VFM 내의 동결된 트랜스포머 레이어를 조절합니다. 실험 결과는 동결된 백본의 학습 가능한 매개 변수의 0.6%만을 활용하는 Cloud-Adapter 접근 방식이 상당한 성능 향상을 달성한다는 것을 보여줍니다. Cloud-Adapter는 다양한 위성 소스, 센서 시리즈, 데이터 처리 수준, 토지 피복 시나리오 및 주석 세분성에 걸쳐 다양한 구름 분할 데이터셋에서 최첨단 성능을 일관되게 달성합니다. 우리는 추가 연구를 지원하기 위해 소스 코드와 사전 학습된 모델을 https://github.com/XavierJiezou/Cloud-Adapter 에 공개하였습니다.

English

Cloud segmentation is a critical challenge in remote sensing image interpretation, as its accuracy directly impacts the effectiveness of subsequent data processing and analysis. Recently, vision foundation models (VFM) have demonstrated powerful generalization capabilities across various visual tasks. In this paper, we present a parameter-efficient adaptive approach, termed Cloud-Adapter, designed to enhance the accuracy and robustness of cloud segmentation. Our method leverages a VFM pretrained on general domain data, which remains frozen, eliminating the need for additional training. Cloud-Adapter incorporates a lightweight spatial perception module that initially utilizes a convolutional neural network (ConvNet) to extract dense spatial representations. These multi-scale features are then aggregated and serve as contextual inputs to an adapting module, which modulates the frozen transformer layers within the VFM. Experimental results demonstrate that the Cloud-Adapter approach, utilizing only 0.6% of the trainable parameters of the frozen backbone, achieves substantial performance gains. Cloud-Adapter consistently attains state-of-the-art (SOTA) performance across a wide variety of cloud segmentation datasets from multiple satellite sources, sensor series, data processing levels, land cover scenarios, and annotation granularities. We have released the source code and pretrained models at https://github.com/XavierJiezou/Cloud-Adapter to support further research.