セマンティックセグメンテーションのための視覚基盤モデルからの一般化可能な知識蒸留
Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation
March 3, 2026
著者: Chonghua Lv, Dong Zhao, Shuang Wang, Dou Quan, Ning Huyan, Nicu Sebe, Zhun Zhong
cs.AI
要旨
知識蒸留（KD）は大規模モデルの圧縮のためにセマンティックセグメンテーションに広く応用されているが、従来の手法は主にドメイン内精度の維持に重点を置き、分布シフト下で重要となるドメイン外汎化性能を軽視してきた。この限界は視覚基盤モデル（VFM）の登場により一層顕著になっている：VFMは未見データに対して強い頑健性を示すものの、従来のKDで蒸留するとこの能力が損なわれがちである。本研究では、汎化性能を明示的に強化する多段階フレームワークGeneralizable Knowledge Distillation（GKD）を提案する。GKDは表現学習とタスク学習を分離する。第一段階では学生モデルが選択的特徴蒸留を通じてドメイン不変の表現を獲得し、第二段階ではこれらの表現を凍結した状態でタスク適応を行うことで、既知ドメインへの過適合を緩和する。更なる転移を支援するため、学生モデルの特徴をクエリとして教師モデルの表現に問い合わせ、VFMから転移可能な空間的知識を選択的に抽出するクエリベースの軟蒸留機構を導入する。5つのドメイン汎化ベンチマークによる大規模実験により、GKDが既存のKD手法を一貫して上回り、基盤モデル間蒸留（F2F）で平均+1.9%、基盤モデルから局所モデルへの蒸留（F2L）で平均+10.6%の性能向上を達成することを実証する。コードはhttps://github.com/Younger-hua/GKD で公開予定である。
English
Knowledge distillation (KD) has been widely applied in semantic segmentation to compress large models, but conventional approaches primarily preserve in-domain accuracy while neglecting out-of-domain generalization, which is essential under distribution shifts. This limitation becomes more severe with the emergence of vision foundation models (VFMs): although VFMs exhibit strong robustness on unseen data, distilling them with conventional KD often compromises this ability. We propose Generalizable Knowledge Distillation (GKD), a multi-stage framework that explicitly enhances generalization. GKD decouples representation learning from task learning. In the first stage, the student acquires domain-agnostic representations through selective feature distillation, and in the second stage, these representations are frozen for task adaptation, thereby mitigating overfitting to visible domains. To further support transfer, we introduce a query-based soft distillation mechanism, where student features act as queries to teacher representations to selectively retrieve transferable spatial knowledge from VFMs. Extensive experiments on five domain generalization benchmarks demonstrate that GKD consistently outperforms existing KD methods, achieving average gains of +1.9% in foundation-to-foundation (F2F) and +10.6% in foundation-to-local (F2L) distillation. The code will be available at https://github.com/Younger-hua/GKD.