Generaliseerbare Kennisdistillatie vanuit Visuele Foundation Modellen voor Semantische Segmentatie

Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation

March 3, 2026

Auteurs: Chonghua Lv, Dong Zhao, Shuang Wang, Dou Quan, Ning Huyan, Nicu Sebe, Zhun Zhong

cs.AI

Samenvatting

Kennisdistillatie (KD) wordt veelvuldig toegepast bij semantische segmentatie om grote modellen te comprimeren, maar conventionele benaderingen richten zich voornamelijk op het behouden van nauwkeurigheid binnen het domein, terwijl ze generalisatie naar andere domeinen verwaarlozen. Dit laatste is echter essentieel bij distributieverschuivingen. Deze beperking wordt ernstiger met de opkomst van vision foundation models (VFM's): hoewel VFM's een sterke robuustheid vertonen op onzichtbare data, gaat dit vermogen vaak verloren wanneer men ze distilleert met conventionele KD. Wij stellen Generaliseerbare Kennisdistillatie (GKD) voor, een multi-stappen raamwerk dat generalisatie expliciet verbetert. GKD ontkoppelt representatieleren van taakleren. In de eerste fase verwerft de student domeinonafhankelijke representaties via selectieve feature-distillatie, en in de tweede fase worden deze representaties bevroren voor taakaanpassing, waardoor overfitting op zichtbare domeinen wordt tegengegaan. Om de transfer verder te ondersteunen, introduceren we een query-gebaseerd zacht distillatiemechanisme, waarbij studentfeatures als queries fungeren voor teacherrepresentaties om selectief overdraagbare ruimtelijke kennis uit VFM's op te halen. Uitgebreide experimenten op vijf benchmarks voor domeingeneralistie tonen aan dat GKD consistent superieur presteert aan bestaande KD-methoden, met gemiddelde winsten van +1,9% in foundation-to-foundation (F2F) en +10,6% in foundation-to-local (F2L) distillatie. De code zal beschikbaar zijn op https://github.com/Younger-hua/GKD.

English

Knowledge distillation (KD) has been widely applied in semantic segmentation to compress large models, but conventional approaches primarily preserve in-domain accuracy while neglecting out-of-domain generalization, which is essential under distribution shifts. This limitation becomes more severe with the emergence of vision foundation models (VFMs): although VFMs exhibit strong robustness on unseen data, distilling them with conventional KD often compromises this ability. We propose Generalizable Knowledge Distillation (GKD), a multi-stage framework that explicitly enhances generalization. GKD decouples representation learning from task learning. In the first stage, the student acquires domain-agnostic representations through selective feature distillation, and in the second stage, these representations are frozen for task adaptation, thereby mitigating overfitting to visible domains. To further support transfer, we introduce a query-based soft distillation mechanism, where student features act as queries to teacher representations to selectively retrieve transferable spatial knowledge from VFMs. Extensive experiments on five domain generalization benchmarks demonstrate that GKD consistently outperforms existing KD methods, achieving average gains of +1.9% in foundation-to-foundation (F2F) and +10.6% in foundation-to-local (F2L) distillation. The code will be available at https://github.com/Younger-hua/GKD.