Generalisierbare Wissensdistillation aus visuellen Foundation-Modellen für semantische Segmentierung
Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation
March 3, 2026
Autoren: Chonghua Lv, Dong Zhao, Shuang Wang, Dou Quan, Ning Huyan, Nicu Sebe, Zhun Zhong
cs.AI
Zusammenfassung
Wissensdistillation (KD) wird bei der semantischen Segmentierung häufig zur Komprimierung großer Modelle eingesetzt. Herkömmliche Ansätze bewahren jedoch primär die In-Domain-Genauigkeit, vernachlässigen aber die Out-of-Domain-Generalisierung, die unter Verteilungsverschiebungen entscheidend ist. Diese Einschränkung verschärft sich mit dem Aufkommen visueller Foundation-Modelle (VFMs): Obwohl VFMs eine hohe Robustheit gegenüber ungesehenen Daten aufweisen, beeinträchtigt deren Distillation mit herkömmlicher KD häufig diese Fähigkeit. Wir schlagen Generalizable Knowledge Distillation (GKD) vor, ein mehrstufiges Framework, das die Generalisierungsfähigkeit explizit verbessert. GKD entkoppelt Repräsentationslernen von Aufgabenlernen. In der ersten Stufe erwirbt der Student domänenunabhängige Repräsentationen durch selektive Feature-Distillation; in der zweiten Stufe werden diese Repräsentationen eingefroren und für die Aufgabenanpassung genutzt, wodurch eine Überanpassung an sichtbare Domänen vermieden wird. Um die Übertragbarkeit weiter zu unterstützen, führen wir einen abfragebasierten Soft-Distillationsmechanismus ein, bei dem Studenten-Features als Abfragen an die Lehrer-Repräsentationen fungieren, um übertragbares räumliches Wissen selektiv aus VFMs abzurufen. Umfangreiche Experimente auf fünf Domain-Generalization-Benchmarks zeigen, dass GKD durchgängig bestehende KD-Methoden übertrifft und durchschnittliche Steigerungen von +1,9 % bei Foundation-to-Foundation (F2F) und +10,6 % bei Foundation-to-Local (F2L) Distillation erzielt. Der Code wird unter https://github.com/Younger-hua/GKD verfügbar sein.
English
Knowledge distillation (KD) has been widely applied in semantic segmentation to compress large models, but conventional approaches primarily preserve in-domain accuracy while neglecting out-of-domain generalization, which is essential under distribution shifts. This limitation becomes more severe with the emergence of vision foundation models (VFMs): although VFMs exhibit strong robustness on unseen data, distilling them with conventional KD often compromises this ability. We propose Generalizable Knowledge Distillation (GKD), a multi-stage framework that explicitly enhances generalization. GKD decouples representation learning from task learning. In the first stage, the student acquires domain-agnostic representations through selective feature distillation, and in the second stage, these representations are frozen for task adaptation, thereby mitigating overfitting to visible domains. To further support transfer, we introduce a query-based soft distillation mechanism, where student features act as queries to teacher representations to selectively retrieve transferable spatial knowledge from VFMs. Extensive experiments on five domain generalization benchmarks demonstrate that GKD consistently outperforms existing KD methods, achieving average gains of +1.9% in foundation-to-foundation (F2F) and +10.6% in foundation-to-local (F2L) distillation. The code will be available at https://github.com/Younger-hua/GKD.