Distillation généralisable des connaissances à partir de modèles de fondation visuels pour la segmentation sémantique

Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation

March 3, 2026

Auteurs: Chonghua Lv, Dong Zhao, Shuang Wang, Dou Quan, Ning Huyan, Nicu Sebe, Zhun Zhong

cs.AI

Résumé

La distillation des connaissances (KD) a été largement appliquée en segmentation sémantique pour compresser les grands modèles, mais les approches conventionnelles préservent principalement la précision en domaine connu tout en négligeant la généralisation hors domaine, qui est essentielle face aux changements de distribution. Cette limitation devient plus sévère avec l'émergence des modèles de fondation visuels (VFMs) : bien que les VFMs présentent une forte robustesse sur des données non vues, leur distillation avec la KD conventionnelle compromet souvent cette capacité. Nous proposons la Distillation Généralisable des Connaissances (GKD), un cadre multi-étapes qui améliore explicitement la généralisation. GKD découple l'apprentissage de représentation de l'apprentissage de tâche. Dans la première étape, l'étudiant acquiert des représentations agnostiques au domaine via une distillation sélective des caractéristiques, et dans la seconde étape, ces représentations sont gelées pour l'adaptation à la tâche, atténuant ainsi le surapprentissage aux domaines visibles. Pour further soutenir le transfert, nous introduisons un mécanisme de distillation douce par requêtes, où les caractéristiques de l'étudiant agissent comme des requêtes vers les représentations du professeur pour récupérer sélectivement des connaissances spatiales transférables depuis les VFMs. Des expériences approfondies sur cinq benchmarks de généralisation de domaine démontrent que GKD surpasse constamment les méthodes KD existantes, obtenant des gains moyens de +1,9 % en distillation fondation-à-fondation (F2F) et de +10,6 % en distillation fondation-à-locale (F2L). Le code sera disponible à l'adresse https://github.com/Younger-hua/GKD.

English

Knowledge distillation (KD) has been widely applied in semantic segmentation to compress large models, but conventional approaches primarily preserve in-domain accuracy while neglecting out-of-domain generalization, which is essential under distribution shifts. This limitation becomes more severe with the emergence of vision foundation models (VFMs): although VFMs exhibit strong robustness on unseen data, distilling them with conventional KD often compromises this ability. We propose Generalizable Knowledge Distillation (GKD), a multi-stage framework that explicitly enhances generalization. GKD decouples representation learning from task learning. In the first stage, the student acquires domain-agnostic representations through selective feature distillation, and in the second stage, these representations are frozen for task adaptation, thereby mitigating overfitting to visible domains. To further support transfer, we introduce a query-based soft distillation mechanism, where student features act as queries to teacher representations to selectively retrieve transferable spatial knowledge from VFMs. Extensive experiments on five domain generalization benchmarks demonstrate that GKD consistently outperforms existing KD methods, achieving average gains of +1.9% in foundation-to-foundation (F2F) and +10.6% in foundation-to-local (F2L) distillation. The code will be available at https://github.com/Younger-hua/GKD.