Distilação Generalizável de Conhecimento a partir de Modelos Fundação Visuais para Segmentação Semântica

Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation

March 3, 2026

Autores: Chonghua Lv, Dong Zhao, Shuang Wang, Dou Quan, Ning Huyan, Nicu Sebe, Zhun Zhong

cs.AI

Resumo

A destilação de conhecimento (KD) tem sido amplamente aplicada na segmentação semântica para comprimir modelos grandes, mas as abordagens convencionais priorizam a preservação da precisão intra-domínio, negligenciando a generalização extra-domínio, que é essencial sob mudanças de distribuição. Esta limitação torna-se mais severa com o surgimento dos modelos de base de visão (VFMs): embora os VFMs exibam forte robustez em dados não vistos, destilá-los com KD convencional frequentemente compromete esta capacidade. Propomos a Destilação de Conhecimento Generalizável (GKD), uma estrutura multiestágio que explicitamente melhora a generalização. A GKD desacopla a aprendizagem de representação da aprendizagem de tarefa. No primeiro estágio, o estudante adquire representações agnósticas de domínio através de destilação seletiva de características, e no segundo estágio, estas representações são congeladas para adaptação à tarefa, mitigando assim o sobreajuste a domínios visíveis. Para suportar ainda mais a transferência, introduzimos um mecanismo de destilação suave baseado em consultas, onde as características do estudante atuam como consultas às representações do professor para recuperar seletivamente conhecimento espacial transferível dos VFMs. Experimentos extensivos em cinco benchmarks de generalização de domínio demonstram que a GKD supera consistentemente os métodos de KD existentes, alcançando ganhos médios de +1,9% na destilação base-para-base (F2F) e +10,6% na destilação base-para-local (F2L). O código estará disponível em https://github.com/Younger-hua/GKD.

English

Knowledge distillation (KD) has been widely applied in semantic segmentation to compress large models, but conventional approaches primarily preserve in-domain accuracy while neglecting out-of-domain generalization, which is essential under distribution shifts. This limitation becomes more severe with the emergence of vision foundation models (VFMs): although VFMs exhibit strong robustness on unseen data, distilling them with conventional KD often compromises this ability. We propose Generalizable Knowledge Distillation (GKD), a multi-stage framework that explicitly enhances generalization. GKD decouples representation learning from task learning. In the first stage, the student acquires domain-agnostic representations through selective feature distillation, and in the second stage, these representations are frozen for task adaptation, thereby mitigating overfitting to visible domains. To further support transfer, we introduce a query-based soft distillation mechanism, where student features act as queries to teacher representations to selectively retrieve transferable spatial knowledge from VFMs. Extensive experiments on five domain generalization benchmarks demonstrate that GKD consistently outperforms existing KD methods, achieving average gains of +1.9% in foundation-to-foundation (F2F) and +10.6% in foundation-to-local (F2L) distillation. The code will be available at https://github.com/Younger-hua/GKD.